Klasy bazowe

import abc

import tensorflow as tf

class AbstractLayer(tf.keras.layers.Layer):
    """Abstract Layer."""
    
    def __init__(self):
        """Inits the class."""
        super(AbstractLayer, self).__init__()
    
    @abc.abstractmethod
    def call(self, inputs):
        """Makes forward pass of the layer."""
        pass


class AbstractModel(tf.keras.Model):
    """Abstract model."""

    def __init__(self):
        """Inits the class."""
        super(AbstractModel, self).__init__()

    @abc.abstractmethod
    def call(self, inputs, training=False):
        """Makes forward pass of the network."""
        pass

    @abc.abstractmethod
    def fit(self, **kwargs):
        """Fits the model.

        Replaces original fit method.
        
        More information can be found in documentation:
        https://www.tensorflow.org/guide/eager
        https://www.tensorflow.org/guide/autodiff
        """
        pass

    @abc.abstractmethod
    def predict(self, x):
        """Predicts x"""
        pass

Instrukcje pomoniczne do wykonania przetwarzania wstępnego

import pickle

# Wczytanie zbioru danych
dataset_path = 'dataset.pkl'

with open(dataset_path, 'rb') as f:
    dataset = pickle.load(f)  
images_raw_train = dataset['train']['X']
images_raw_test = dataset['test']['X']
images_raw_valid = dataset['validation']['X']

labels = dataset['train']['y']
labels_test = dataset['test']['y']
lebels_valid = dataset['validation']['y']

# Ustawienie ziarna
tf.random.set_seed(1234)

# Zmiana rozmiaru obrazu z 224x224 do 64x64
images = tf.image.resize(
    images_raw_train, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

images_test = tf.image.resize(
    images_raw_test, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

images_valid = tf.image.resize(
    images_raw_valid, [64, 64], 
    method=tf.image.ResizeMethod.NEAREST_NEIGHBOR, 
    preserve_aspect_ratio=False,
    name=None
)

# Zmiana typu obrazów z int na float i normalizacja wartości pikseli z przedziału 0-255 do przedziału 0-1
images = tf.cast(images, tf.float32) / 255.0
images_test = tf.cast(images_test, tf.float32) / 255.0
images_valid = tf.cast(images_valid, tf.float32) / 255.0
    
# Zmiana wymiarowości z [8870] na [8870, 1] w celu zastosowania `SparseCategoricalCrossentropy`
labels = tf.reshape(labels, [-1, 1])
labels_test = tf.reshape(labels_test, [-1, 1])
labels_valid = tf.reshape(lebels_valid, [-1, 1])
# Do iterowania zbioru danych i podzielenia na paczki (ang. batch) można wykorzystać interfejs zdefiniowany w `tensorflow.data.Dataset`

Prezentacja danych:

import matplotlib.pyplot as plt
plt.figure()
plt.figure(figsize=(12,12))
rows = 5
cols = 5
for img in range(rows*cols):
    plt.subplot(rows,cols,img+1)
    plt.imshow(dataset['train']['X'][img])
plt.show()

<Figure size 432x288 with 0 Axes>

def plot_confusion_matrix(cm, classes,
                        normalize=False,
                        title='Confusion matrix',
                        cmap=plt.cm.Blues):
    """
    This function prints and plots the confusion matrix.
    Normalization can be applied by setting `normalize=True`.
    """
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    #print(cm)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
            horizontalalignment="center",
            color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

Implementacja modelu MLP

from tqdm import tqdm

import abc
import tensorflow as tf

class MLP_Layer(AbstractLayer):
    
    def __init__(self, units,initilizer_weights,initilizer_bias):
        """Inits the class."""
        self.units = units
        self.weights_initilizer=initilizer_weights
        self.bias_initilizer=initilizer_bias
        super(MLP_Layer, self).__init__()
    
    def build(self, input_shape):
        """Here we build our layer. Here will be create Weights and baiases"""
        self.w = self.add_weight(shape=(input_shape[-1], self.units),
                                      initializer=self.weights_initilizer,
                                      trainable=True)
        
        self.b = self.add_weight(shape=(self.units,),initializer=self.bias_initilizer,trainable=True)
    def call(self, inputs):
        """Makes forward pass of the layer."""
        #y = a*x +b  -> weights * input + bias
        ax = tf.matmul(inputs, self.w)
        y = ax + self.b
        return y    

import matplotlib.pyplot as plt
import tensorflow as tf
from tqdm import tqdm
import numpy as np
from sklearn.metrics import f1_score, accuracy_score
class MLP(AbstractModel):
    
    def __init__(self,from_logits=False):
        super(MLP, self).__init__()
        self.lr = 1e-3
        self.optim = tf.keras.optimizers.Adam(learning_rate=self.lr)
        self.loss_fn=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=from_logits) #from logits zamiast softmaxa można
        self.batch_size = 100
        self.num_epochs = 25
    def compile(self, **kwargs):
        number_of_MLP_layers = kwargs['layers']
        units = kwargs['units']
        weig_init = kwargs['initializer_weights']
        bias_init = kwargs['initializer_bias']
        self.MPL_layers =[]
        for layer in range(number_of_MLP_layers):
            self.MPL_layers.append(MLP_Layer(units=units,initilizer_weights=weig_init,initilizer_bias=bias_init))
        self.full_connected_2 = MLP_Layer(units=14,initilizer_weights=weig_init,initilizer_bias=bias_init)
        if 'optim' in kwargs:
            self.optim = kwargs['optim']
        if 'batch' in kwargs:
            self.batch_size = kwargs['batch'] 
        if 'epoch' in kwargs:
            self.num_epoch = kwargs['epoch'] 
            
    def call(self, inputs, training=False):
        """Makes forward pass of the network."""
        x = tf.reshape(inputs,[inputs.shape[0],64*64*3])
        for layer in self.MPL_layers:
            x= layer(x)
            x=tf.nn.relu(x)
        x = self.full_connected_2(x)
        x = tf.nn.softmax(x) #Activation 2 layer
        return x

    def fit(self, **kwargs):
        history = {'Loss':[],
                   'Accuracy':[],
                   'Fscore':[]}
        history_test = {'Loss':[],
                   'Accuracy':[],
                   'Fscore':[]}
        history_valid = {'Loss':[],
                    'Accuracy':[],
                   'Fscore':[]}
        
        batch_size = self.batch_size
        #print(type(history['loss']))
        train_dataset= kwargs['dataset']
        train_labels = kwargs['labels_train']
        test_dataset= kwargs['dataset_test']
        valid_dataset= kwargs['dataset_valid']
        labels_valid= kwargs['labels_valid']
        labels_test=kwargs['labels_test']
        batch = kwargs['batch']
        self.num_epochs = kwargs['epochs']
        NUMBER_OF_CLASSES = 14
        train_ds = tf.data.Dataset.from_tensor_slices((images, labels)) 
        size=len(train_dataset)
        train_ds = train_ds.shuffle(buffer_size=size).batch(batch_size=batch)
        size = size/batch_size
        if(train_dataset!=None):
            for epoch in tqdm(range(self.num_epochs)):
                loss_sum = 0
                fscore = 0
                prec = 0
                recall = 0
                acc = 0
                iterator=0
                for x, y in train_ds:
                    iterator+=1
                    with tf.GradientTape() as tape:
                        y_prediction = self.call(x,training=True)
                        loss = self.loss_fn(y_true=y,y_pred=y_prediction)
                        loss_sum+=tf.keras.backend.sum(loss)
                    grads = tape.gradient(loss, self.trainable_variables)
                    self.optim.apply_gradients(zip(grads,self.trainable_variables))     
                history['Loss'].append((loss_sum/iterator).numpy())
                pred = self.predict(train_dataset)
                acc, F = self.validate(y_pred=pred,y_true=train_labels)
                history['Accuracy'].append(acc)
                history['Fscore'].append(F)
                   
            
                y_prediction = self.predict(test_dataset)
                y_loss = self.call(test_dataset).numpy()
                acc, F = self.validate(y_pred=y_prediction,y_true=labels_test)
                loss = self.loss_fn(y_true=labels_test,y_pred=y_loss)
                history_test['Loss'].append(loss.numpy())
                history_test['Accuracy'].append(acc)
                history_test['Fscore'].append(F)
                
                y_prediction = self.predict(valid_dataset)
                y_loss = self.call(valid_dataset).numpy()
                acc = self.validate(y_pred=y_prediction,y_true=labels_valid)
                loss = self.loss_fn(y_true=labels_valid,y_pred=y_loss)
                history_valid['Loss'].append(loss.numpy())
                history_valid['Accuracy'].append(acc)
                history_valid['Fscore'].append(F)
              
                
        else:
            print('provide dataset')
              
        return history, history_test, history_valid
        pass
    def validate(self,y_true,y_pred):
        re = tf.reshape(y_pred,[-1,1]).numpy()
        true = y_true.numpy()
       
        acc = accuracy_score(y_true=true,y_pred=re).sum()
        acc = np.mean(acc)
        F1 = f1_score(y_true=true,y_pred=re,average="macro")
        return acc, F1
    def predict(self, x):
        """Predicts x"""
        pred = self.call(x,training=False)
        return tf.argmax(input=pred, axis=1)
        
        

COLUMNS = ['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr','batch size','epochs']
history_competition=pd.DataFrame(columns=COLUMNS)
history_competition

	Loss	Accuracy	Fscore	layers	weights	biases	units	optim	lr	batch size	epochs

def research(layers,units,init_weights,init_bias,batch,optim,epoch):
    
    history_competition=pd.DataFrame(columns=['Loss','Accuracy','Fscore','layers','weights','biases','units','optim','lr'])
    
    model=MLP()
    model.compile(layers=layers,units=units,initializer_weights=init_weights,initializer_bias=init_bias,batch=batch,optim=optim,epoch=epoch)
    
    history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=epoch,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=batch)
    data = pd.DataFrame(history_test).tail(1).reset_index(drop=True)
    params = pd.DataFrame([[layers,init_weights._tf_api_names,init_bias._tf_api_names,units,model.optim._name,model.optim._hyper['learning_rate'].numpy(),model.batch_size,model.num_epoch]],columns=['layers','weights','biases','units','optim','lr','batch size','epochs'])
    data = pd.concat([data,params],axis=1)
    history_competition=history_competition.append(data)
    return history_competition

Number of layers:1-5

initilizer of weights: tf.random_uniform_initializer

initilizer of biases: tf.random_uniform_initializer

Units:256

history_competition=history_competition.append(research(1,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_uniform_initializer,tf.random_uniform_initializer,batch=100))

  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:08,  7.87s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:14<02:55,  7.63s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:44,  7.49s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:29<02:34,  7.34s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:35<02:23,  7.18s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:42<02:14,  7.08s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:49<02:06,  7.04s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:57<02:03,  7.26s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:04<01:56,  7.28s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:11<01:48,  7.22s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:18<01:40,  7.16s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:25<01:32,  7.10s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:33<01:28,  7.35s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:42<01:25,  7.73s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:49<01:16,  7.66s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:57<01:09,  7.72s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:05<01:01,  7.64s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:12<00:52,  7.47s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:19<00:43,  7.31s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:25<00:35,  7.13s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:32<00:28,  7.01s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:39<00:21,  7.03s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:47<00:14,  7.19s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:54<00:07,  7.17s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:01<00:00,  7.26s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:01,  7.56s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:53,  7.54s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:46,  7.57s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:31<02:46,  7.94s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:39<02:38,  7.94s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:46<02:28,  7.81s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:54<02:18,  7.70s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:01<02:09,  7.60s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:09<02:00,  7.56s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:16<01:53,  7.58s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:24<01:46,  7.60s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:31<01:38,  7.55s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:39<01:31,  7.59s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:47<01:23,  7.62s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:54<01:16,  7.62s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:02<01:08,  7.58s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:09<01:00,  7.54s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:17<00:52,  7.53s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:25<00:45,  7.64s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:33<00:38,  7.76s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:41<00:31,  7.88s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:49<00:23,  7.82s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:57<00:15,  7.84s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:04<00:07,  7.86s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00,  7.73s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:43,  9.32s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.21s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:19,  9.09s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:35<03:08,  9.00s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:44<02:58,  8.94s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:53<02:49,  8.90s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:02<02:38,  8.83s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:10<02:29,  8.81s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:19<02:20,  8.77s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:28<02:13,  8.89s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:38<02:08,  9.15s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:48<02:03,  9.49s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:59<01:57,  9.76s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:09<01:47,  9.79s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:19<01:39,  9.91s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:29,  9.97s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:38<01:18,  9.84s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:47<01:06,  9.57s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:56<00:56,  9.35s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:05<00:45,  9.18s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:14<00:36,  9.19s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:23<00:27,  9.13s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:32<00:18,  9.07s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:41<00:09,  9.04s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:50<00:00,  9.23s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:29, 11.23s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:17, 11.22s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:33<04:08, 11.29s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:44<03:55, 11.22s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:56<03:44, 11.20s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:07<03:31, 11.15s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:18<03:19, 11.09s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:29<03:10, 11.21s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:40<02:58, 11.18s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:52<02:49, 11.30s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:03<02:38, 11.32s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:14<02:25, 11.22s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:25<02:14, 11.23s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:37<02:03, 11.20s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:47<01:51, 11.13s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:58<01:39, 11.08s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:10<01:29, 11.17s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:22<01:19, 11.39s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:35<01:11, 11.87s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:46<00:58, 11.65s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:56<00:45, 11.33s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:07<00:33, 11.15s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:19<00:22, 11.25s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:30<00:11, 11.31s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:43<00:00, 11.33s/it]

Number of layers:1-5

initilizer of weights: tf.random_normal_initializer

initilizer of biases: tf.random_uniform_initializer

Units:256

history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))

  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<02:58,  7.44s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:52,  7.48s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:42,  7.40s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:29<02:34,  7.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:28,  7.45s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:44<02:22,  7.49s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:52<02:16,  7.56s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:00<02:09,  7.62s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:08<02:03,  7.73s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:16<01:56,  7.79s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:23<01:48,  7.78s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:32<01:42,  7.89s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:39<01:34,  7.85s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:48<01:28,  8.02s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:55<01:19,  7.94s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:03<01:11,  7.93s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:11<01:01,  7.73s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:18<00:54,  7.77s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:27<00:47,  7.91s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:34<00:39,  7.82s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:42<00:31,  7.78s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:49<00:22,  7.61s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:57<00:15,  7.55s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:04<00:07,  7.47s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:11<00:00,  7.67s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:08<03:12,  8.01s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:16<03:07,  8.14s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:24<03:00,  8.20s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:33<02:55,  8.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:42<02:50,  8.53s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:50<02:41,  8.50s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:59<02:31,  8.40s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:08<02:28,  8.75s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:17<02:21,  8.86s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:26<02:12,  8.84s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:34<02:00,  8.59s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:42<01:48,  8.38s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:50<01:38,  8.25s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:57<01:28,  8.02s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:05<01:20,  8.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:14<01:12,  8.09s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:22<01:04,  8.10s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:30<00:56,  8.10s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:38<00:48,  8.05s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:46<00:39,  7.96s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:53<00:31,  7.94s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:01<00:23,  7.92s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:09<00:15,  7.87s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:17<00:07,  7.81s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:24<00:00,  8.19s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:37,  9.08s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:27,  9.04s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:26<03:17,  8.98s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:35<03:08,  8.99s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:44<03:00,  9.02s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:53<02:51,  9.02s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:02<02:41,  8.98s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:11<02:32,  8.97s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:20<02:23,  8.97s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:29<02:14,  8.98s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:38<02:06,  9.00s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:47<01:56,  8.97s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:57<01:49,  9.11s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:05<01:38,  8.93s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:15<01:30,  9.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:24<01:22,  9.13s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:33<01:13,  9.17s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:42<01:03,  9.14s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:52<00:55,  9.25s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:01<00:46,  9.27s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:10<00:36,  9.17s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:19<00:27,  9.19s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:28<00:18,  9.20s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:38<00:09,  9.19s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:46<00:00,  9.07s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:26, 11.10s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:17, 11.20s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:33<04:06, 11.20s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:45<03:59, 11.40s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:57<03:53, 11.68s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:09<03:43, 11.74s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:25<03:54, 13.05s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:39<03:44, 13.18s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:53<03:34, 13.42s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [02:06<03:20, 13.40s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:21<03:11, 13.66s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:33<02:52, 13.25s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:45<02:35, 12.92s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:56<02:15, 12.35s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [03:07<02:00, 12.04s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:19<01:47, 11.92s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:30<01:33, 11.73s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:42<01:21, 11.68s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:54<01:10, 11.77s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [04:05<00:57, 11.49s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:16<00:45, 11.40s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:27<00:33, 11.24s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:38<00:22, 11.25s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:49<00:11, 11.15s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:00<00:00, 12.04s/it]

Number of layers:1-5

initilizer of weights: tf.random_normal_initializer

initilizer of biases: tf.random_normal_initializer

Units:256

history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=100))

  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<02:48,  7.04s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:13<02:41,  7.01s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:21<02:34,  7.04s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:28<02:29,  7.10s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:35<02:24,  7.25s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:43<02:17,  7.24s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:50<02:10,  7.22s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:57<02:02,  7.20s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:04<01:55,  7.22s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:11<01:48,  7.20s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:19<01:42,  7.30s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:27<01:36,  7.46s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:34<01:28,  7.36s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:41<01:20,  7.29s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:48<01:12,  7.23s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:55<01:04,  7.21s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:03<00:58,  7.26s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:10<00:50,  7.18s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:17<00:42,  7.13s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:24<00:35,  7.12s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:31<00:28,  7.04s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:38<00:21,  7.04s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:45<00:14,  7.09s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:52<00:07,  7.14s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:59<00:00,  7.18s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:00,  7.52s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:54,  7.58s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:22<02:46,  7.59s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:30<02:39,  7.57s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:30,  7.52s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:46<02:27,  7.76s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:54<02:20,  7.80s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:01<02:13,  7.86s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:09<02:03,  7.69s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:17<01:58,  7.92s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:25<01:50,  7.87s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:33<01:41,  7.84s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:40<01:33,  7.79s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:48<01:25,  7.81s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:56<01:17,  7.76s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:04<01:09,  7.71s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:11<01:01,  7.65s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:19<00:54,  7.72s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:27<00:46,  7.68s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:35<00:38,  7.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:42<00:31,  7.80s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:50<00:23,  7.75s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:58<00:15,  7.70s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:05<00:07,  7.64s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:13<00:00,  7.73s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:41,  9.22s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.18s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:23,  9.25s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:37<03:15,  9.30s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:48<03:15,  9.77s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:57<03:06,  9.81s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:07<02:57,  9.85s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:16<02:41,  9.50s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:25<02:27,  9.22s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:33<02:14,  9.00s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:42<02:05,  8.96s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:51<01:56,  9.00s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:01<01:50,  9.25s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:11<01:43,  9.39s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:20<01:33,  9.39s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:24,  9.40s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:39<01:14,  9.32s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:48<01:05,  9.29s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:57<00:55,  9.29s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:07<00:46,  9.34s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:16<00:38,  9.52s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:27<00:29,  9.68s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:36<00:19,  9.67s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:46<00:09,  9.72s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:56<00:00,  9.47s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:12<04:58, 12.42s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:24<04:44, 12.36s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:36<04:31, 12.32s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:49<04:19, 12.36s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [01:01<04:06, 12.33s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:14<03:56, 12.46s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:26<03:41, 12.29s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:38<03:28, 12.24s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:50<03:15, 12.25s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [02:02<03:03, 12.26s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:15<02:51, 12.24s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:27<02:39, 12.25s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:40<02:30, 12.57s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:52<02:16, 12.43s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [03:04<02:02, 12.29s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:16<01:50, 12.26s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:29<01:39, 12.41s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:42<01:27, 12.45s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:54<01:15, 12.51s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [04:07<01:02, 12.41s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:19<00:49, 12.47s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:31<00:37, 12.35s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:43<00:24, 12.27s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:55<00:12, 12.22s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:11<00:00, 12.44s/it]

Number of layers:1-5

initilizer of weights: tf.random_uniform_initializer

initilizer of biases: tf.random_normal_initializer

Units:256

history_competition=history_competition.append(research(1,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(5,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))
history_competition=history_competition.append(research(10,256,tf.random_normal_initializer,tf.random_uniform_initializer,batch=100))

  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:08<03:13,  8.08s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<03:02,  7.92s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:23<02:53,  7.87s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:30<02:41,  7.68s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:37<02:30,  7.50s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:45<02:21,  7.45s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:52<02:13,  7.43s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [00:59<02:05,  7.36s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:07<02:00,  7.51s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:14<01:52,  7.51s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:22<01:43,  7.43s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:29<01:35,  7.35s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:36<01:28,  7.34s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:43<01:20,  7.30s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:51<01:13,  7.35s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [01:58<01:06,  7.41s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:06<00:59,  7.38s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:13<00:51,  7.41s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:21<00:44,  7.41s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:28<00:36,  7.38s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:35<00:29,  7.41s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:43<00:22,  7.40s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [02:50<00:14,  7.39s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [02:58<00:07,  7.38s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:05<00:00,  7.41s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:07<03:05,  7.72s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:15<02:58,  7.77s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:23<02:51,  7.79s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:31<02:45,  7.89s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:39<02:38,  7.92s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:47<02:29,  7.89s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [00:55<02:22,  7.92s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:03<02:14,  7.93s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:11<02:07,  7.95s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:20<02:02,  8.18s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:28<01:54,  8.16s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:36<01:46,  8.18s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [01:43<01:35,  7.99s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [01:51<01:26,  7.89s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [01:59<01:17,  7.80s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:06<01:09,  7.76s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:14<01:02,  7.77s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:22<00:54,  7.80s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:30<00:46,  7.72s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [02:37<00:38,  7.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [02:45<00:31,  7.81s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [02:53<00:23,  7.78s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:01<00:15,  7.84s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:09<00:07,  7.81s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:17<00:00,  7.89s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:09<03:39,  9.16s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:18<03:31,  9.19s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:27<03:23,  9.24s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:37<03:14,  9.25s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:46<03:08,  9.42s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [00:56<02:57,  9.36s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:05<02:47,  9.33s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:14<02:37,  9.27s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:23<02:27,  9.24s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:32<02:18,  9.24s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [01:42<02:10,  9.35s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [01:51<02:01,  9.31s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:00<01:50,  9.22s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:09<01:40,  9.16s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:19<01:34,  9.46s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [02:29<01:24,  9.40s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [02:38<01:14,  9.31s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [02:47<01:05,  9.40s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [02:57<00:56,  9.35s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:06<00:46,  9.38s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [03:15<00:37,  9.29s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [03:24<00:27,  9.31s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [03:34<00:18,  9.50s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [03:44<00:09,  9.41s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:53<00:00,  9.33s/it]



  0%|                                                                                                                                                                                                                                                                         | 0/25 [00:00<?, ?it/s]


  4%|██████████▎                                                                                                                                                                                                                                                      | 1/25 [00:11<04:34, 11.46s/it]


  8%|████████████████████▌                                                                                                                                                                                                                                            | 2/25 [00:22<04:21, 11.38s/it]


 12%|██████████████████████████████▊                                                                                                                                                                                                                                  | 3/25 [00:34<04:11, 11.42s/it]


 16%|█████████████████████████████████████████                                                                                                                                                                                                                        | 4/25 [00:46<04:03, 11.59s/it]


 20%|███████████████████████████████████████████████████▍                                                                                                                                                                                                             | 5/25 [00:58<03:55, 11.77s/it]


 24%|█████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 6/25 [01:10<03:45, 11.86s/it]


 28%|███████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                         | 7/25 [01:21<03:29, 11.66s/it]


 32%|██████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                              | 8/25 [01:33<03:19, 11.72s/it]


 36%|████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                    | 9/25 [01:45<03:09, 11.84s/it]


 40%|██████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                         | 10/25 [01:57<02:56, 11.75s/it]


 44%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                               | 11/25 [02:08<02:43, 11.66s/it]


 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                     | 12/25 [02:20<02:31, 11.69s/it]


 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                           | 13/25 [02:32<02:22, 11.85s/it]


 56%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                | 14/25 [02:44<02:09, 11.79s/it]


 60%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                      | 15/25 [02:56<01:58, 11.89s/it]


 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                            | 16/25 [03:08<01:46, 11.89s/it]


 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                  | 17/25 [03:20<01:35, 11.89s/it]


 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                       | 18/25 [03:31<01:23, 11.87s/it]


 76%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 19/25 [03:43<01:11, 11.85s/it]


 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                   | 20/25 [03:55<00:58, 11.79s/it]


 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                         | 21/25 [04:06<00:46, 11.66s/it]


 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 22/25 [04:18<00:34, 11.61s/it]


 92%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                    | 23/25 [04:30<00:23, 11.81s/it]


 96%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊          | 24/25 [04:42<00:11, 11.82s/it]


100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [04:54<00:00, 11.77s/it]

history_competition.to_csv("MLP_PARAMS_1.csv",index=False)

history_competition=pd.read_csv("MLP_PARAMS_1.csv")

history_competition.sort_values(by=['Fscore'],ascending=False)

	Loss	Accuracy	Fscore	layers	weights	biases	units
9	2.493940	0.258935	0.247341	2	('random_normal_initializer',)	('random_normal_initializer',)	256
5	2.441079	0.248820	0.244889	2	('random_normal_initializer',)	('random_uniform_initializer',)	256
13	2.427198	0.252529	0.237064	2	('random_normal_initializer',)	('random_uniform_initializer',)	256
1	2.447052	0.269049	0.233423	2	('random_uniform_initializer',)	('random_uniform_initializer',)	256
6	2.504672	0.256575	0.224740	5	('random_normal_initializer',)	('random_uniform_initializer',)	256
4	2.449885	0.222522	0.209362	1	('random_normal_initializer',)	('random_uniform_initializer',)	256
0	2.449420	0.244100	0.201127	1	('random_uniform_initializer',)	('random_uniform_initializer',)	256
14	2.442891	0.241065	0.195643	5	('random_normal_initializer',)	('random_uniform_initializer',)	256
2	2.475966	0.248820	0.194454	5	('random_uniform_initializer',)	('random_uniform_initializer',)	256
10	2.495870	0.236008	0.192777	5	('random_normal_initializer',)	('random_normal_initializer',)	256
12	2.476855	0.212070	0.172576	1	('random_normal_initializer',)	('random_uniform_initializer',)	256
8	2.385365	0.226568	0.152916	1	('random_normal_initializer',)	('random_normal_initializer',)	256
7	2.418595	0.237357	0.138650	10	('random_normal_initializer',)	('random_uniform_initializer',)	256
15	2.465148	0.214767	0.109016	10	('random_normal_initializer',)	('random_uniform_initializer',)	256
11	2.442924	0.212070	0.096342	10	('random_normal_initializer',)	('random_normal_initializer',)	256
3	2.476034	0.178355	0.038114	10	('random_uniform_initializer',)	('random_uniform_initializer',)	256

Najlepszym modelem okazał się model o dwóch warstwach i wagami i biasami z rozkładu normalnego.

Teraz należy sprawdzić :

- Liczbę epok uczenia

- Metody optymalizacji modelu

-Różne liczności paczek (mini batch)

-Różne wartości współczynnika uczenia

Metody optymalizacji modelu

Adam , SGD, NAdam

Docelowymi parametrami modelu jest najlepszy model z podpunktu wyżej

history_competition=pd.DataFrame(columns=COLUMNS)
history_competition

	Loss	Accuracy	Fscore	layers	weights	biases	units	optim	lr	batch size	epochs

EPOCH = [25,50,100]
BATCHES  = [ 100, 200, 400]
LR = [0.001,0.01,0.005]
for epoch in EPOCH:
    for batch in BATCHES:
        for lr in LR:    
            print('NEW LOOP')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Nadam(learning_rate=lr),epoch=epoch))
            print('NADAM',epoch,batch,lr,'DONE')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.Adam(learning_rate=lr),epoch=epoch))
            print('ADAM',epoch,batch,lr,'DONE')
            history_competition=history_competition.append(research(2,256,tf.random_normal_initializer,tf.random_normal_initializer,batch=batch,optim=tf.keras.optimizers.SGD(learning_rate=lr),epoch=epoch))
            print('SGD',epoch,batch,lr,'DONE')
            history_competition.to_csv("MLP_PARAMS_2.csv",index=False)

  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:12<04:52, 12.20s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:25<04:48, 12.56s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:38<04:38, 12.68s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:28, 12.77s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:16, 12.81s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:17<04:04, 12.87s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:30<03:52, 12.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:43<03:39, 12.91s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:56<03:26, 12.91s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:09<03:13, 12.91s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:22<03:00, 12.91s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:35<02:48, 12.96s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:48<02:35, 12.96s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [03:01<02:22, 12.97s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:13<02:09, 12.92s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:26<01:56, 12.93s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:39<01:43, 12.98s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:52<01:30, 12.96s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:05<01:17, 12.94s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:18<01:04, 12.93s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:31<00:51, 12.87s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:44<00:38, 12.92s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:57<00:25, 12.96s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:10<00:12, 12.92s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.92s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 100 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:00,  5.04s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<01:55,  5.04s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:15<01:51,  5.09s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:20<01:47,  5.10s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:25<01:41,  5.06s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:30<01:36,  5.09s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:35<01:31,  5.09s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:40<01:26,  5.11s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:45<01:21,  5.07s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:50<01:16,  5.08s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:55<01:10,  5.05s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:00<01:05,  5.06s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:05<01:00,  5.04s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:10<00:55,  5.04s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:16<00:50,  5.07s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:21<00:45,  5.05s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:26<00:40,  5.08s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:31<00:36,  5.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:36<00:31,  5.22s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:42<00:25,  5.19s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:47<00:20,  5.24s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:52<00:15,  5.25s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:57<00:10,  5.20s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:02<00:05,  5.14s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00,  5.11s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 100 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:44,  4.36s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:39,  4.33s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:12<01:34,  4.32s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:30,  4.31s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:26,  4.31s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:25<01:22,  4.33s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.36s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:34<01:14,  4.35s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:10,  4.39s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:05,  4.39s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:47<01:01,  4.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.35s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.34s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:00<00:47,  4.36s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:43,  4.33s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:09<00:39,  4.35s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:13<00:34,  4.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.37s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:22<00:26,  4.41s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:27<00:21,  4.38s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.41s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:35<00:13,  4.38s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:40<00:08,  4.40s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:44<00:04,  4.38s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00,  4.36s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 100 0.001 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:12<05:10, 12.94s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:26<04:58, 12.99s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:39<04:45, 13.00s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:31, 12.92s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:18, 12.91s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:17<04:05, 12.92s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:30<03:52, 12.93s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:43<03:38, 12.87s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:56<03:25, 12.85s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:08<03:12, 12.81s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:21<02:59, 12.79s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:34<02:45, 12.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:47<02:33, 12.82s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [02:59<02:20, 12.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:12<02:07, 12.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:25<01:54, 12.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:38<01:42, 12.76s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:50<01:29, 12.78s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:03<01:16, 12.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:16<01:04, 12.83s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:29<00:51, 12.82s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:42<00:38, 12.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:54<00:25, 12.71s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:07<00:12, 12.72s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:19<00:00, 12.80s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 100 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:03,  5.15s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<01:58,  5.15s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:15<01:52,  5.12s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:20<01:48,  5.17s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:25<01:42,  5.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:30<01:37,  5.12s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:35<01:31,  5.08s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:40<01:26,  5.07s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:45<01:20,  5.05s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:51<01:17,  5.20s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:56<01:12,  5.16s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:01<01:06,  5.12s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:06<01:01,  5.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:11<00:55,  5.09s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:16<00:50,  5.07s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:21<00:45,  5.07s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:26<00:40,  5.05s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:31<00:35,  5.04s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:36<00:30,  5.07s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:41<00:25,  5.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:46<00:20,  5.03s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:51<00:15,  5.07s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:57<00:10,  5.07s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:02<00:05,  5.04s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:07<00:00,  5.09s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 100 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:45,  4.39s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:41,  4.40s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:37,  4.43s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:32,  4.40s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:27,  4.39s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:26<01:23,  4.38s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.37s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:35<01:14,  4.37s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:09,  4.35s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:05,  4.37s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:48<01:01,  4.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.36s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.39s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:01<00:48,  4.38s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:44,  4.41s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:10<00:39,  4.38s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:14<00:34,  4.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.35s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:23<00:26,  4.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:27<00:21,  4.35s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.37s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:36<00:13,  4.37s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:40<00:08,  4.42s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:45<00:04,  4.41s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:49<00:00,  4.40s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 100 0.01 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:13<05:17, 13.21s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:26<05:02, 13.16s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:38<04:46, 13.02s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:51<04:30, 12.89s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [01:04<04:16, 12.82s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [01:16<04:03, 12.81s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [01:29<03:50, 12.81s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:42<03:39, 12.90s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:55<03:26, 12.92s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [02:08<03:13, 12.90s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [02:21<02:59, 12.85s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [02:34<02:46, 12.83s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [02:46<02:33, 12.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [02:59<02:20, 12.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [03:12<02:08, 12.81s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [03:25<01:54, 12.76s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [03:37<01:41, 12.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [03:50<01:28, 12.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [04:02<01:15, 12.63s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [04:15<01:03, 12.64s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [04:28<00:50, 12.60s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [04:40<00:37, 12.66s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [04:53<00:25, 12.71s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [05:07<00:13, 13.09s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [05:23<00:00, 12.95s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 100 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:11,  5.46s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:10<02:04,  5.39s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:16<02:01,  5.50s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:22<01:58,  5.63s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:27<01:50,  5.53s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:34<01:51,  5.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:41<01:51,  6.21s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:46<01:40,  5.89s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:51<01:30,  5.65s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:56<01:21,  5.46s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:01<01:14,  5.36s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:06<01:08,  5.25s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:11<01:02,  5.18s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:16<00:56,  5.10s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:21<00:50,  5.08s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:27<00:46,  5.15s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:32<00:41,  5.14s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:37<00:35,  5.12s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:42<00:30,  5.09s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:47<00:25,  5.06s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:52<00:20,  5.04s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:57<00:15,  5.01s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:02<00:09,  5.00s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:07<00:05,  5.00s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:12<00:00,  5.28s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 100 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:44,  4.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:08<01:39,  4.34s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:35,  4.34s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:17<01:31,  4.35s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:21<01:26,  4.33s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:25<01:22,  4.32s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:30<01:18,  4.35s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:34<01:13,  4.34s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:39<01:09,  4.35s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:43<01:04,  4.33s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:47<01:00,  4.34s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:52<00:56,  4.37s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:56<00:52,  4.41s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:00<00:48,  4.39s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:05<00:43,  4.37s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:09<00:39,  4.36s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:13<00:34,  4.34s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:18<00:30,  4.34s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:22<00:25,  4.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:26<00:21,  4.34s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:31<00:17,  4.32s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:35<00:12,  4.31s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:39<00:08,  4.31s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:44<00:04,  4.32s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:48<00:00,  4.34s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 100 0.005 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:07<02:56,  7.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:14<02:49,  7.35s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:22<02:43,  7.43s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:29<02:35,  7.40s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:36<02:27,  7.36s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:44<02:23,  7.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:52<02:17,  7.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:00<02:08,  7.57s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:07<02:01,  7.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:15<01:52,  7.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:22<01:45,  7.52s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:30<01:38,  7.55s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:37<01:30,  7.54s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:45<01:21,  7.45s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:55<01:24,  8.44s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [02:06<01:22,  9.11s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:14<01:09,  8.69s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:23<01:01,  8.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:30<00:50,  8.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:37<00:40,  8.08s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:45<00:31,  7.91s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:52<00:23,  7.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [03:00<00:15,  7.72s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [03:07<00:07,  7.64s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:16<00:00,  7.85s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 200 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:30,  3.79s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:07<01:24,  3.69s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:21,  3.69s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:14<01:15,  3.61s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:11,  3.56s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:21<01:07,  3.57s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:25<01:04,  3.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:28<01:00,  3.55s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:31<00:56,  3.51s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:35<00:51,  3.45s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:38<00:47,  3.42s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:41<00:44,  3.41s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:45<00:40,  3.40s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:48<00:37,  3.39s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:52<00:33,  3.40s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:55<00:30,  3.38s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:58<00:26,  3.37s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:02<00:23,  3.38s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:20,  3.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:08<00:16,  3.36s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:12<00:13,  3.37s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:15<00:10,  3.37s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:19<00:06,  3.37s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:22<00:03,  3.36s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:25<00:00,  3.43s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 200 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:13,  3.06s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:09,  3.04s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:12,  3.27s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:09,  3.32s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:05,  3.29s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:19<01:01,  3.24s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:22<00:57,  3.19s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:25<00:53,  3.14s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:28<00:49,  3.11s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:31<00:46,  3.11s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:34<00:42,  3.07s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:37<00:39,  3.05s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:40<00:36,  3.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:43<00:33,  3.03s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:46<00:30,  3.03s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:49<00:27,  3.02s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:52<00:24,  3.02s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:56<00:21,  3.04s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:59<00:18,  3.04s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:02<00:15,  3.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:05<00:12,  3.04s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:08<00:09,  3.03s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:11<00:06,  3.03s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:14<00:03,  3.02s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00,  3.09s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 200 0.001 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:07<02:53,  7.24s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:14<02:46,  7.24s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:21<02:40,  7.31s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:28<02:31,  7.22s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:35<02:22,  7.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:42<02:14,  7.06s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:50<02:07,  7.11s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:57<02:01,  7.15s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:04<01:54,  7.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:11<01:47,  7.19s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:18<01:40,  7.21s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:26<01:34,  7.24s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:34<01:29,  7.45s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:42<01:23,  7.58s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:49<01:16,  7.60s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:57<01:08,  7.56s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:04<00:59,  7.48s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:11<00:51,  7.41s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:19<00:45,  7.53s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:26<00:37,  7.48s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:34<00:29,  7.41s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:41<00:22,  7.36s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:48<00:14,  7.34s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:55<00:07,  7.29s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:03<00:00,  7.32s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 200 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:20,  3.35s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:17,  3.35s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:13,  3.36s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:10,  3.35s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:07,  3.37s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:03,  3.36s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:23<01:00,  3.35s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<00:57,  3.36s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:53,  3.37s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:50,  3.35s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:36<00:46,  3.35s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:43,  3.35s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:40,  3.35s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:46<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:50<00:33,  3.34s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:53<00:29,  3.33s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:56<00:26,  3.33s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:00<00:23,  3.35s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:03<00:20,  3.34s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:06<00:16,  3.34s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:10<00:13,  3.33s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:13<00:10,  3.34s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:16<00:06,  3.34s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:20<00:03,  3.35s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:23<00:00,  3.35s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 200 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:12,  3.02s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:09,  3.03s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:06,  3.04s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:12<01:03,  3.03s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:15<01:00,  3.04s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:18<00:57,  3.04s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:21<00:55,  3.10s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:25<00:56,  3.34s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:29<00:57,  3.62s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:55,  3.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:36<00:50,  3.62s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:45,  3.52s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:41,  3.44s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:46<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:49<00:32,  3.22s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:52<00:28,  3.14s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:55<00:24,  3.10s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:58<00:21,  3.06s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:01<00:18,  3.02s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:04<00:14,  3.00s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:07<00:11,  2.99s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:10<00:08,  2.99s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:13<00:05,  2.98s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:16<00:02,  2.97s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:19<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 200 0.01 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:08<03:20,  8.36s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:17<03:16,  8.54s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:25<03:03,  8.35s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:33<02:52,  8.22s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:40<02:39,  7.98s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:47<02:27,  7.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:56<02:22,  7.91s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [01:04<02:18,  8.15s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [01:12<02:08,  8.04s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:20<01:58,  7.88s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:27<01:48,  7.73s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:35<01:40,  7.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:43<01:34,  7.88s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:50<01:25,  7.79s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:58<01:16,  7.68s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [02:06<01:09,  7.73s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [02:14<01:03,  7.92s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [02:22<00:54,  7.81s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:29<00:46,  7.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:37<00:39,  7.82s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:45<00:30,  7.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:53<00:23,  7.93s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [03:01<00:15,  7.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [03:08<00:07,  7.59s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [03:15<00:00,  7.82s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 200 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:22,  3.45s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:18,  3.41s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:14,  3.39s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:11,  3.39s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:16<01:07,  3.37s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:03,  3.36s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:23<01:00,  3.39s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<00:57,  3.38s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:53,  3.37s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:33<00:50,  3.35s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:37<00:47,  3.40s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:40<00:44,  3.39s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:43<00:40,  3.37s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:47<00:37,  3.40s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:50<00:33,  3.39s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:54<00:30,  3.37s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:57<00:27,  3.39s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:00<00:23,  3.39s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:04<00:20,  3.37s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:07<00:17,  3.43s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:11<00:14,  3.62s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:15<00:10,  3.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:18<00:06,  3.45s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:21<00:03,  3.39s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:24<00:00,  3.40s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 200 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:11,  2.97s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:08,  2.96s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:04,  2.94s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:11<01:01,  2.93s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:14<00:59,  2.95s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:18<00:59,  3.16s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:22<01:02,  3.49s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:26<01:01,  3.59s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:29<00:55,  3.46s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:32<00:49,  3.31s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:35<00:44,  3.20s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:38<00:40,  3.12s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:41<00:36,  3.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:44<00:33,  3.01s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:48<00:32,  3.26s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:52<00:32,  3.60s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:56<00:30,  3.85s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:01<00:28,  4.03s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:24,  4.15s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:09<00:20,  4.03s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:13<00:16,  4.16s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:18<00:12,  4.22s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:22<00:08,  4.26s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:27<00:04,  4.31s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:31<00:00,  3.66s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 200 0.005 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:05<02:21,  5.88s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:11<02:11,  5.72s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:18<02:17,  6.25s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:26<02:17,  6.57s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:31<02:02,  6.13s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:35<01:48,  5.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:42<01:50,  6.11s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:50<01:49,  6.45s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:57<01:47,  6.70s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [01:04<01:43,  6.92s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [01:12<01:38,  7.01s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [01:18<01:30,  6.94s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:23<01:15,  6.27s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:29<01:08,  6.25s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:36<01:04,  6.47s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:43<00:58,  6.51s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:50<00:53,  6.73s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:57<00:48,  6.87s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [02:04<00:40,  6.74s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [02:11<00:34,  6.85s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [02:17<00:26,  6.64s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [02:22<00:18,  6.21s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [02:28<00:12,  6.21s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [02:34<00:05,  5.92s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [02:38<00:00,  6.35s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 400 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:07,  2.79s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:04,  2.79s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:09<01:08,  3.14s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:10,  3.36s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:11,  3.58s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:21<01:08,  3.63s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:25<01:06,  3.69s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:29<01:05,  3.86s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:33<01:00,  3.81s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:36<00:53,  3.57s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:38<00:46,  3.34s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:41<00:41,  3.19s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:45<00:39,  3.30s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:48<00:36,  3.33s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:52<00:34,  3.46s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:56<00:31,  3.55s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:59<00:27,  3.43s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:02<00:22,  3.23s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:05<00:19,  3.33s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:09<00:17,  3.45s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:13<00:14,  3.53s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:16<00:10,  3.56s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:20<00:07,  3.61s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:24<00:03,  3.67s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:27<00:00,  3.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 400 0.001 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:03<01:19,  3.30s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:06<01:16,  3.34s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:10<01:15,  3.42s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:13<01:12,  3.44s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:17<01:09,  3.47s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:20<01:05,  3.45s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:24<01:02,  3.45s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:27<00:57,  3.36s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:30<00:50,  3.15s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:32<00:45,  3.02s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:35<00:41,  2.98s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:38<00:38,  2.94s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:41<00:34,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:43<00:30,  2.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:46<00:27,  2.73s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:48<00:24,  2.68s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:51<00:21,  2.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:54<00:18,  2.70s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:57<00:16,  2.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:59<00:13,  2.72s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:02<00:11,  2.75s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:06<00:09,  3.04s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:10<00:06,  3.41s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:14<00:03,  3.53s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:17<00:00,  3.11s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 400 0.001 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:57,  4.90s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:09<01:52,  4.91s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:14<01:47,  4.87s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:19<01:41,  4.85s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:24<01:35,  4.79s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:28<01:30,  4.75s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:33<01:24,  4.72s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:38<01:19,  4.70s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:42<01:14,  4.67s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:47<01:09,  4.66s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:51<01:05,  4.65s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:56<01:00,  4.64s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:01<00:55,  4.64s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:05<00:50,  4.64s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:10<00:46,  4.62s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:14<00:41,  4.62s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:19<00:36,  4.62s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:24<00:32,  4.63s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:28<00:27,  4.61s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:33<00:23,  4.62s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:38<00:18,  4.61s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:42<00:13,  4.61s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:47<00:09,  4.61s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:51<00:04,  4.60s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:56<00:00,  4.66s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 400 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:06,  2.76s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:03,  2.76s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:00,  2.76s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:57,  2.75s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:54,  2.74s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:16<00:51,  2.73s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:19<00:49,  2.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:21<00:46,  2.75s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:24<00:43,  2.75s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:27<00:41,  2.76s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:30<00:38,  2.75s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:32<00:35,  2.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:35<00:32,  2.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:38<00:30,  2.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:41<00:27,  2.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:43<00:24,  2.75s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:46<00:21,  2.74s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:49<00:19,  2.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:52<00:16,  2.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:54<00:13,  2.76s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:57<00:10,  2.75s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:00<00:08,  2.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:03<00:05,  2.75s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:05<00:02,  2.74s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00,  2.75s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 400 0.01 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:02,  2.62s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<00:59,  2.60s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:07<00:57,  2.61s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:54,  2.61s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:52,  2.61s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:15<00:49,  2.61s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:18<00:46,  2.61s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:20<00:44,  2.60s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:23<00:41,  2.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:25<00:38,  2.58s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:28<00:36,  2.58s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:31<00:33,  2.58s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:33<00:30,  2.57s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:36<00:28,  2.57s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:38<00:25,  2.57s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:41<00:23,  2.59s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:43<00:20,  2.57s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:46<00:18,  2.58s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:49<00:15,  2.57s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:51<00:12,  2.58s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:54<00:10,  2.57s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [00:56<00:07,  2.56s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [00:59<00:05,  2.58s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:02<00:02,  2.59s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00,  2.58s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

SGD 25 400 0.01 DONE
NEW LOOP

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:04<01:52,  4.67s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:09<01:47,  4.66s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:13<01:42,  4.67s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:18<01:37,  4.66s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:23<01:32,  4.64s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:27<01:28,  4.64s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:32<01:23,  4.63s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:37<01:18,  4.62s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:41<01:13,  4.62s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:46<01:11,  4.80s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:52<01:08,  4.91s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:56<01:03,  4.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [01:02<01:00,  5.06s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [01:07<00:55,  5.03s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [01:12<00:49,  4.92s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [01:16<00:43,  4.83s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [01:21<00:38,  4.77s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [01:25<00:33,  4.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [01:30<00:28,  4.71s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [01:35<00:23,  4.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [01:40<00:18,  4.73s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:44<00:14,  4.71s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:49<00:09,  4.68s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:53<00:04,  4.65s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:58<00:00,  4.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

NADAM 25 400 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:05,  2.75s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:03,  2.74s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:08<01:00,  2.75s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:57,  2.74s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:54,  2.73s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:16<00:51,  2.74s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:19<00:49,  2.74s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:21<00:46,  2.74s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:24<00:43,  2.74s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:27<00:41,  2.74s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:30<00:38,  2.74s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:32<00:35,  2.73s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:35<00:32,  2.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:38<00:30,  2.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:41<00:27,  2.74s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:43<00:24,  2.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:46<00:21,  2.74s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:49<00:19,  2.74s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:52<00:16,  2.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:54<00:13,  2.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:57<00:10,  2.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [01:00<00:08,  2.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [01:02<00:05,  2.72s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:05<00:02,  2.72s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:08<00:00,  2.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/25 [00:00<?, ?it/s]

ADAM 25 400 0.005 DONE

  4%|███████████▏                                                                                                                                                                                                                                                                             | 1/25 [00:02<01:03,  2.63s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 2/25 [00:05<01:00,  2.61s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 3/25 [00:07<00:57,  2.60s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 4/25 [00:10<00:54,  2.62s/it]







 20%|████████████████████████████████████████████████████████▏                                                                                                                                                                                                                                | 5/25 [00:13<00:52,  2.61s/it]







 24%|███████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                     | 6/25 [00:15<00:49,  2.61s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                          | 7/25 [00:18<00:46,  2.60s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                               | 8/25 [00:20<00:44,  2.60s/it]







 36%|█████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                   | 9/25 [00:23<00:41,  2.59s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 10/25 [00:25<00:38,  2.59s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 11/25 [00:28<00:36,  2.58s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 12/25 [00:31<00:33,  2.59s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 13/25 [00:33<00:30,  2.58s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 14/25 [00:36<00:28,  2.58s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 15/25 [00:38<00:25,  2.57s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 16/25 [00:41<00:23,  2.57s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 17/25 [00:43<00:20,  2.57s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 18/25 [00:46<00:17,  2.56s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 19/25 [00:49<00:15,  2.56s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 20/25 [00:51<00:12,  2.56s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 21/25 [00:54<00:10,  2.56s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 22/25 [00:56<00:07,  2.57s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 23/25 [00:59<00:05,  2.57s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 24/25 [01:01<00:02,  2.58s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 25/25 [01:04<00:00,  2.58s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 25 400 0.005 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:12<09:53, 12.11s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:24<09:40, 12.09s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:36<09:28, 12.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:48<09:16, 12.09s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [01:00<09:05, 12.13s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:12<08:53, 12.12s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:24<08:40, 12.10s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:37<08:30, 12.16s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:49<08:17, 12.13s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [02:01<08:04, 12.12s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:13<07:51, 12.10s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:25<07:39, 12.08s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:37<07:27, 12.08s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:49<07:14, 12.07s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [03:01<07:02, 12.08s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:13<06:49, 12.05s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:25<06:36, 12.03s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:37<06:24, 12.02s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:49<06:12, 12.01s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [04:01<06:00, 12.01s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:13<05:48, 12.02s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:25<05:36, 12.00s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:37<05:24, 12.03s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:49<05:15, 12.12s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [05:02<05:03, 12.13s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:14<04:50, 12.09s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:25<04:37, 12.05s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:38<04:24, 12.04s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:49<04:12, 12.02s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [06:01<03:59, 11.99s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:13<03:47, 11.97s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:26<03:37, 12.06s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:38<03:27, 12.22s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:51<03:16, 12.31s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [07:03<03:05, 12.38s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:15<02:51, 12.26s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:27<02:38, 12.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:39<02:25, 12.12s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:51<02:12, 12.07s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [08:03<02:00, 12.04s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:15<01:48, 12.00s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:27<01:35, 11.98s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:39<01:24, 12.02s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:51<01:12, 12.02s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [09:03<01:00, 12.04s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:15<00:48, 12.01s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:27<00:36, 12.02s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:39<00:24, 12.03s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:51<00:12, 12.00s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [10:03<00:00, 12.07s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 100 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:59,  4.89s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:53,  4.87s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:14<03:47,  4.84s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:19<03:41,  4.82s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:24<03:37,  4.83s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:28<03:33,  4.84s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:33<03:27,  4.83s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:38<03:22,  4.82s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:43<03:17,  4.83s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:48<03:13,  4.83s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:53<03:09,  4.85s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:58<03:04,  4.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:02<02:58,  4.83s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:07<02:53,  4.82s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:12<02:48,  4.80s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:17<02:43,  4.80s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:21<02:38,  4.80s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:26<02:34,  4.82s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:31<02:30,  4.84s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:36<02:25,  4.85s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:41<02:20,  4.86s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:46<02:15,  4.84s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:51<02:10,  4.83s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:55<02:05,  4.83s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:00<02:00,  4.82s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:05<01:55,  4.82s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:10<01:51,  4.83s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:15<01:46,  4.83s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:20<01:41,  4.83s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:24<01:36,  4.82s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:29<01:31,  4.81s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:34<01:26,  4.80s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:39<01:21,  4.79s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:43<01:16,  4.81s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:48<01:12,  4.81s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:53<01:07,  4.80s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:58<01:02,  4.80s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:03<00:57,  4.80s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:08<00:52,  4.81s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:12<00:48,  4.81s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:17<00:43,  4.79s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:22<00:38,  4.76s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:27<00:33,  4.77s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:31<00:28,  4.75s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:36<00:23,  4.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:41<00:19,  4.81s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:46<00:14,  4.81s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:51<00:09,  4.80s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:55<00:04,  4.81s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:00<00:00,  4.81s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 100 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:26,  4.22s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:21,  4.20s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:16,  4.18s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:11,  4.17s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:07,  4.16s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:24<03:02,  4.15s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:29<02:57,  4.13s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:52,  4.12s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:48,  4.12s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:44,  4.11s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:40,  4.11s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:49<02:37,  4.13s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:53<02:33,  4.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:57<02:28,  4.13s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:01<02:24,  4.13s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:20,  4.14s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:10<02:16,  4.13s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:14<02:12,  4.13s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:18<02:07,  4.12s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:22<02:03,  4.11s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:26<01:59,  4.14s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:30<01:55,  4.14s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:51,  4.13s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:39<01:47,  4.15s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:43<01:43,  4.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:47<01:39,  4.16s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:51<01:35,  4.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:55<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:59<01:26,  4.12s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.12s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:17,  4.10s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:12<01:13,  4.11s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:16<01:09,  4.11s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:20<01:05,  4.11s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:24<01:01,  4.13s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:28<00:57,  4.13s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:32<00:53,  4.15s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:50,  4.18s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.17s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:45<00:41,  4.16s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:49<00:37,  4.14s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:53<00:33,  4.14s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:57<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:01<00:24,  4.12s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.12s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.10s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.13s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:18<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:22<00:04,  4.13s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00,  4.13s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 100 0.001 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:11<09:38, 11.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:23<09:26, 11.81s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:35<09:16, 11.84s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:47<09:02, 11.80s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:59<08:50, 11.79s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:10<08:39, 11.81s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:23<08:36, 12.02s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:35<08:24, 12.02s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:47<08:09, 11.93s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:58<07:55, 11.89s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:10<07:43, 11.87s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:22<07:29, 11.83s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:34<07:16, 11.79s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:45<07:04, 11.78s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [02:57<06:51, 11.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:09<06:39, 11.74s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:21<06:27, 11.73s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:32<06:15, 11.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:44<06:04, 11.75s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [03:56<05:52, 11.73s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:07<05:39, 11.72s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:19<05:28, 11.72s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:31<05:16, 11.74s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:43<05:04, 11.71s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [04:54<04:52, 11.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:06<04:41, 11.72s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:18<04:29, 11.74s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:30<04:19, 11.78s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:41<04:07, 11.76s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [05:53<03:54, 11.75s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:05<03:42, 11.74s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:17<03:30, 11.71s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:28<03:19, 11.73s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:40<03:07, 11.72s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [06:52<02:55, 11.72s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:03<02:44, 11.72s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:15<02:32, 11.77s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:27<02:21, 11.79s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:39<02:09, 11.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [07:51<01:57, 11.77s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:02<01:45, 11.73s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:14<01:33, 11.72s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:26<01:21, 11.71s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:37<01:10, 11.72s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [08:49<00:58, 11.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:01<00:47, 11.76s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:13<00:35, 11.77s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:25<00:23, 11.76s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:36<00:11, 11.79s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.77s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 100 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:56,  4.82s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:52,  4.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:14<03:46,  4.82s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:19<03:40,  4.79s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:23<03:34,  4.76s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:28<03:29,  4.77s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:33<03:24,  4.75s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:38<03:20,  4.76s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:42<03:14,  4.75s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:47<03:09,  4.74s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:52<03:05,  4.75s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:57<03:01,  4.77s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:01<02:56,  4.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:06<02:51,  4.75s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:11<02:46,  4.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:16<02:41,  4.75s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:20<02:37,  4.76s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:25<02:32,  4.76s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:30<02:27,  4.76s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:35<02:22,  4.77s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:40<02:18,  4.76s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:44<02:12,  4.75s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:49<02:08,  4.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:54<02:03,  4.75s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:58<01:58,  4.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:03<01:53,  4.73s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:08<01:49,  4.76s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:13<01:44,  4.73s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:18<01:40,  4.78s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:22<01:35,  4.77s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:27<01:30,  4.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:32<01:25,  4.76s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:37<01:21,  4.79s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:41<01:16,  4.79s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:46<01:11,  4.78s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:51<01:07,  4.79s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:56<01:01,  4.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:00<00:57,  4.77s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:05<00:52,  4.76s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:10<00:47,  4.77s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:15<00:42,  4.75s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:19<00:37,  4.75s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:24<00:33,  4.73s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:29<00:28,  4.74s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:34<00:23,  4.74s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:39<00:19,  4.78s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:43<00:14,  4.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:48<00:09,  4.75s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:53<00:04,  4.75s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:57<00:00,  4.76s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 100 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:22,  4.14s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:19,  4.15s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:14,  4.14s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:09,  4.12s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:05,  4.11s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:24<03:02,  4.16s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:28<02:57,  4.13s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:53,  4.12s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:49,  4.13s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:46,  4.16s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:42,  4.16s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:49<02:37,  4.15s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:53<02:33,  4.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:57<02:28,  4.13s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:02<02:24,  4.14s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:20,  4.13s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:10<02:15,  4.12s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:14<02:12,  4.14s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:18<02:07,  4.13s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:22<02:03,  4.13s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:26<01:59,  4.13s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:30<01:55,  4.13s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:51,  4.13s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:39<01:47,  4.15s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:43<01:43,  4.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:47<01:39,  4.14s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:51<01:35,  4.14s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:55<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:59<01:26,  4.13s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.15s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:18,  4.14s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:12<01:14,  4.13s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:16<01:10,  4.14s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:20<01:05,  4.12s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:24<01:02,  4.14s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:28<00:57,  4.13s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:33<00:53,  4.14s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:49,  4.12s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.11s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:45<00:40,  4.10s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:49<00:37,  4.14s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:53<00:33,  4.14s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:57<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:01<00:24,  4.13s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.15s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.13s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.12s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:18<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:22<00:04,  4.12s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:26<00:00,  4.13s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 100 0.01 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:11<09:38, 11.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:23<09:27, 11.83s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:35<09:15, 11.83s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:47<09:04, 11.84s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:59<08:52, 11.82s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [01:10<08:39, 11.80s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [01:22<08:27, 11.79s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [01:34<08:14, 11.77s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:46<08:02, 11.77s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:57<07:50, 11.76s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [02:09<07:38, 11.75s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [02:21<07:28, 11.79s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [02:33<07:16, 11.80s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [02:45<07:03, 11.77s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [02:56<06:51, 11.76s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [03:08<06:39, 11.76s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [03:20<06:27, 11.75s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [03:32<06:17, 11.80s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [03:43<06:05, 11.80s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [03:55<05:53, 11.80s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [04:07<05:41, 11.78s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [04:19<05:29, 11.78s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [04:30<05:17, 11.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [04:42<05:05, 11.73s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [04:54<04:53, 11.75s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [05:06<04:41, 11.74s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [05:17<04:29, 11.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [05:29<04:17, 11.71s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [05:41<04:05, 11.71s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [05:52<03:54, 11.70s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [06:04<03:42, 11.71s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [06:16<03:31, 11.73s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [06:28<03:19, 11.71s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [06:39<03:07, 11.72s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [06:51<02:56, 11.75s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [07:03<02:44, 11.73s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [07:15<02:32, 11.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [07:26<02:21, 11.75s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [07:38<02:09, 11.74s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [07:50<01:57, 11.74s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [08:02<01:45, 11.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [08:13<01:34, 11.78s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [08:25<01:22, 11.79s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [08:37<01:10, 11.78s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [08:49<00:58, 11.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [09:01<00:47, 11.79s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [09:12<00:35, 11.76s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [09:24<00:23, 11.73s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [09:36<00:11, 11.74s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [09:48<00:00, 11.76s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 100 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:05<04:16,  5.24s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:10<04:15,  5.32s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:16<04:18,  5.49s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:22<04:11,  5.47s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:27<04:06,  5.49s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:32<03:58,  5.41s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:37<03:47,  5.30s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:42<03:34,  5.11s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:47<03:25,  5.01s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:52<03:17,  4.93s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:56<03:12,  4.92s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:01<03:05,  4.89s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:06<02:59,  4.84s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:11<02:54,  4.84s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:16<02:48,  4.82s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:20<02:43,  4.80s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:25<02:38,  4.81s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:30<02:33,  4.79s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:35<02:28,  4.78s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:39<02:23,  4.77s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:44<02:18,  4.78s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:49<02:13,  4.77s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:54<02:08,  4.76s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:58<02:03,  4.75s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:03<01:59,  4.76s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:08<01:54,  4.76s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:13<01:49,  4.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:17<01:44,  4.75s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:22<01:39,  4.74s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:27<01:35,  4.78s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:32<01:30,  4.77s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:37<01:25,  4.77s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:41<01:21,  4.78s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:46<01:16,  4.77s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:51<01:11,  4.77s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:56<01:06,  4.77s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [03:00<01:01,  4.74s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [03:05<00:56,  4.74s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [03:10<00:52,  4.75s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:15<00:47,  4.73s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:19<00:42,  4.74s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:24<00:37,  4.74s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:29<00:33,  4.74s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:34<00:28,  4.74s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:38<00:23,  4.76s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:43<00:19,  4.76s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:48<00:14,  4.75s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:53<00:09,  4.75s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:57<00:04,  4.73s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [04:02<00:00,  4.85s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 100 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:30,  4.29s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:08<03:24,  4.25s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:12<03:17,  4.21s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:16<03:13,  4.20s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:20<03:09,  4.22s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:25<03:05,  4.22s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:29<03:00,  4.19s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:33<02:55,  4.18s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:37<02:51,  4.19s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:41<02:47,  4.18s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:45<02:41,  4.15s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:50<02:37,  4.16s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:54<02:33,  4.14s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:58<02:29,  4.15s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:02<02:25,  4.16s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:06<02:22,  4.19s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:11<02:18,  4.19s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:15<02:13,  4.17s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:19<02:09,  4.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:23<02:04,  4.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:27<02:00,  4.17s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:31<01:56,  4.16s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:35<01:52,  4.15s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:40<01:48,  4.17s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:44<01:44,  4.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:48<01:39,  4.14s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:52<01:35,  4.14s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:56<01:31,  4.14s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:00<01:26,  4.14s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:04<01:22,  4.13s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:08<01:18,  4.11s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:13<01:14,  4.13s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:17<01:10,  4.13s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:21<01:06,  4.13s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:25<01:01,  4.12s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:29<00:57,  4.12s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:33<00:53,  4.11s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:37<00:49,  4.10s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:41<00:45,  4.12s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:46<00:41,  4.11s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:50<00:37,  4.13s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:54<00:33,  4.13s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:58<00:28,  4.13s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:02<00:24,  4.13s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:06<00:20,  4.13s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:10<00:16,  4.12s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:14<00:12,  4.12s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:19<00:08,  4.12s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:23<00:04,  4.12s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:27<00:00,  4.15s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 100 0.005 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:35,  6.84s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:27,  6.83s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:20,  6.81s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:27<05:13,  6.81s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:34<05:06,  6.80s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<04:58,  6.79s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:51,  6.78s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:54<04:45,  6.80s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:01<04:38,  6.79s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:07<04:31,  6.79s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:14<04:24,  6.79s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:21<04:17,  6.77s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:28<04:10,  6.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:34<04:03,  6.77s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:41<03:56,  6.77s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:48<03:50,  6.78s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:55<03:43,  6.78s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:02<03:36,  6.77s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:08<03:30,  6.78s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:15<03:23,  6.78s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:22<03:16,  6.77s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:29<03:09,  6.78s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:35<03:02,  6.78s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:42<02:56,  6.78s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:49<02:49,  6.77s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:56<02:42,  6.78s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:03<02:35,  6.77s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:09<02:29,  6.77s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:16<02:22,  6.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:23<02:15,  6.77s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:30<02:08,  6.77s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:37<02:04,  6.90s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:44<01:58,  6.97s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:53<02:03,  7.70s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [04:01<01:55,  7.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:08<01:44,  7.49s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:15<01:35,  7.33s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:22<01:27,  7.26s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:29<01:18,  7.14s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:36<01:10,  7.06s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:43<01:02,  6.99s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:50<00:55,  6.95s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:57<00:48,  6.96s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [05:03<00:41,  6.92s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:10<00:34,  6.91s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:17<00:27,  6.95s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:24<00:20,  6.98s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:31<00:13,  6.97s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:38<00:06,  6.94s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:47<00:00,  6.94s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 200 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:42,  3.31s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:37,  3.28s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:33,  3.26s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:29,  3.24s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:16<02:25,  3.24s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:21,  3.22s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:18,  3.21s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:15,  3.22s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:11,  3.22s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:32<02:09,  3.23s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:35<02:05,  3.22s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:02,  3.23s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:59,  3.23s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:45<01:56,  3.23s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:48<01:53,  3.23s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:51<01:50,  3.24s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:54<01:46,  3.23s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:58<01:43,  3.22s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:01<01:39,  3.22s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:04<01:36,  3.21s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:07<01:33,  3.22s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:10<01:30,  3.23s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:14<01:27,  3.23s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:17<01:23,  3.22s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:20<01:20,  3.22s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:23<01:17,  3.21s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:26<01:13,  3.22s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:30<01:10,  3.21s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:33<01:07,  3.23s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:36<01:04,  3.22s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:39<01:01,  3.22s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:43<00:58,  3.23s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:46<00:55,  3.25s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:49<00:51,  3.23s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:52<00:48,  3.23s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:56<00:45,  3.23s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:59<00:41,  3.23s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:02<00:38,  3.22s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:05<00:35,  3.22s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:08<00:32,  3.22s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:12<00:28,  3.21s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:15<00:25,  3.21s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:18<00:22,  3.22s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:21<00:19,  3.22s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:25<00:16,  3.21s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:28<00:12,  3.22s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:31<00:09,  3.22s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:34<00:06,  3.21s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:37<00:03,  3.23s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:41<00:00,  3.23s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 200 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:22,  2.90s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:19,  2.91s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:16,  2.90s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:13,  2.90s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:09,  2.88s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:06,  2.88s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:04,  2.89s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:23<02:01,  2.89s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:26<01:59,  2.90s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:28<01:56,  2.91s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:53,  2.91s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:50,  2.90s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:47,  2.90s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:44,  2.90s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:41,  2.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:46<01:38,  2.89s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:49<01:35,  2.89s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:52<01:32,  2.88s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:54<01:29,  2.88s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.89s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:24,  2.91s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:21,  2.92s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:06<01:18,  2.90s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:09<01:15,  2.89s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:12<01:12,  2.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:15<01:10,  2.95s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:18<01:07,  2.94s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:21<01:04,  2.91s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:24<01:00,  2.89s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:26<00:57,  2.89s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:29<00:54,  2.89s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:32<00:51,  2.88s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:35<00:48,  2.88s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:38<00:45,  2.87s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:41<00:43,  2.88s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:44<00:40,  2.88s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:47<00:37,  2.89s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:50<00:34,  2.89s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:52<00:31,  2.90s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:55<00:28,  2.90s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:58<00:26,  2.91s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:01<00:23,  2.90s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:04<00:20,  2.89s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:07<00:17,  2.88s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:10<00:14,  2.88s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:13<00:11,  2.88s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:16<00:08,  2.88s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:18<00:05,  2.88s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:21<00:02,  2.89s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:24<00:00,  2.89s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 200 0.001 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:41,  6.97s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:32,  6.92s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:23,  6.89s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:27<05:15,  6.87s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:34<05:08,  6.85s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<05:00,  6.82s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:53,  6.82s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:54<04:46,  6.81s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:01<04:39,  6.82s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:08<04:32,  6.82s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:15<04:25,  6.82s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:21<04:18,  6.80s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:28<04:11,  6.81s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:35<04:04,  6.80s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:42<03:58,  6.82s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:49<03:53,  6.86s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:56<03:46,  6.86s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:02<03:39,  6.87s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:09<03:32,  6.86s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:16<03:24,  6.83s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:23<03:17,  6.82s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:30<03:10,  6.80s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:36<03:03,  6.80s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:43<02:56,  6.79s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:50<02:49,  6.79s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:57<02:42,  6.78s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:04<02:35,  6.78s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:10<02:29,  6.79s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:17<02:22,  6.77s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:24<02:15,  6.79s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:31<02:09,  6.79s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:37<02:02,  6.80s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:44<01:55,  6.78s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:51<01:48,  6.79s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [03:58<01:41,  6.79s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:05<01:35,  6.83s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:12<01:28,  6.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:18<01:21,  6.81s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:25<01:14,  6.81s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:32<01:08,  6.81s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:39<01:01,  6.80s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:46<00:54,  6.79s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:52<00:47,  6.79s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [04:59<00:40,  6.79s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:06<00:33,  6.78s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:13<00:27,  6.81s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:20<00:20,  6.81s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:26<00:13,  6.80s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:33<00:06,  6.80s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:40<00:00,  6.81s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 200 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:40,  3.27s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:36,  3.26s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:33,  3.26s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:29,  3.24s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:16<02:24,  3.22s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:20,  3.20s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:18,  3.23s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:15,  3.22s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:11,  3.22s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:32<02:08,  3.21s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:35<02:05,  3.21s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:02,  3.21s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:58,  3.21s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:45<01:55,  3.21s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:48<01:51,  3.20s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:51<01:48,  3.20s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:54<01:45,  3.20s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:57<01:42,  3.20s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:00<01:39,  3.20s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:04<01:35,  3.19s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:07<01:32,  3.18s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:10<01:29,  3.20s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:13<01:26,  3.21s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:17<01:23,  3.21s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:20<01:20,  3.21s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:23<01:17,  3.22s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:26<01:14,  3.23s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:29<01:10,  3.22s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:33<01:07,  3.21s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:36<01:03,  3.20s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:39<01:00,  3.21s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:42<00:57,  3.21s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:45<00:54,  3.20s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:49<00:51,  3.19s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:52<00:47,  3.19s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:55<00:44,  3.20s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:58<00:41,  3.20s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:01<00:38,  3.21s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:05<00:35,  3.20s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:08<00:31,  3.19s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:11<00:28,  3.20s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:14<00:25,  3.20s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:17<00:22,  3.20s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:21<00:19,  3.23s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:24<00:16,  3.22s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:27<00:12,  3.21s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:30<00:09,  3.22s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:34<00:06,  3.21s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:37<00:03,  3.20s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:40<00:00,  3.21s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 200 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:23,  2.93s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:20,  2.92s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:16,  2.91s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:13,  2.91s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:10,  2.90s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:07,  2.90s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:05,  2.92s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:23<02:02,  2.92s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:26<01:58,  2.90s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:29<01:55,  2.90s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:53,  2.90s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:49,  2.89s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:46,  2.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:43,  2.88s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:41,  2.89s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:46<01:38,  2.89s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:49<01:35,  2.89s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:52<01:32,  2.90s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:55<01:29,  2.89s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.89s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:23,  2.90s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:21,  2.90s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:06<01:17,  2.88s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:09<01:14,  2.88s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:12<01:12,  2.89s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:15<01:08,  2.87s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:18<01:05,  2.87s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:20<01:03,  2.87s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:23<01:00,  2.87s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:26<00:57,  2.87s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:29<00:54,  2.86s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:32<00:51,  2.86s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:35<00:48,  2.87s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:38<00:45,  2.86s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:40<00:42,  2.87s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:43<00:40,  2.87s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:46<00:37,  2.86s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:49<00:34,  2.85s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:52<00:31,  2.86s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:55<00:28,  2.86s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:58<00:25,  2.87s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:01<00:22,  2.86s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:03<00:20,  2.86s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:06<00:17,  2.86s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:09<00:14,  2.86s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:12<00:11,  2.87s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:15<00:08,  2.87s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:18<00:05,  2.86s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:21<00:02,  2.86s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00,  2.88s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 200 0.01 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:06<05:33,  6.81s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:13<05:25,  6.78s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:20<05:18,  6.77s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:26<05:10,  6.74s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:33<05:03,  6.73s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:40<04:56,  6.74s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:47<04:49,  6.73s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:53<04:42,  6.73s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [01:00<04:36,  6.73s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [01:07<04:29,  6.73s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [01:14<04:22,  6.73s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [01:20<04:16,  6.75s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [01:27<04:09,  6.74s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:34<04:02,  6.75s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:41<03:56,  6.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:47<03:49,  6.74s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:54<03:42,  6.74s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [02:01<03:35,  6.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [02:07<03:28,  6.71s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [02:14<03:21,  6.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [02:21<03:14,  6.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [02:27<03:07,  6.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [02:34<03:00,  6.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [02:41<02:54,  6.70s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [02:48<02:47,  6.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [02:54<02:40,  6.70s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [03:01<02:34,  6.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [03:08<02:28,  6.74s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [03:15<02:21,  6.75s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [03:21<02:15,  6.76s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [03:28<02:08,  6.75s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [03:35<02:01,  6.74s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [03:42<01:54,  6.74s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [03:48<01:48,  6.75s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [03:55<01:40,  6.73s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [04:02<01:34,  6.73s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [04:08<01:27,  6.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [04:15<01:20,  6.71s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [04:22<01:14,  6.73s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [04:29<01:07,  6.71s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [04:35<01:00,  6.72s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [04:42<00:53,  6.70s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [04:49<00:46,  6.70s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [04:55<00:40,  6.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [05:02<00:33,  6.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [05:09<00:26,  6.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [05:16<00:20,  6.94s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [05:23<00:13,  6.89s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [05:30<00:06,  6.83s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [05:36<00:00,  6.74s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 200 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:03<02:37,  3.21s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:06<02:33,  3.20s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:09<02:30,  3.20s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:12<02:26,  3.19s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:15<02:23,  3.18s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:19<02:19,  3.17s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:22<02:16,  3.17s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:25<02:13,  3.17s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:28<02:10,  3.17s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:31<02:06,  3.17s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:34<02:03,  3.18s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:38<02:00,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:41<01:57,  3.18s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:44<01:54,  3.18s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:47<01:51,  3.18s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:50<01:48,  3.18s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:53<01:44,  3.17s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:57<01:41,  3.18s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:00<01:38,  3.17s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:03<01:35,  3.17s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:06<01:31,  3.17s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:09<01:28,  3.17s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:13<01:25,  3.18s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:16<01:22,  3.17s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:19<01:19,  3.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:22<01:15,  3.17s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:25<01:12,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:28<01:09,  3.16s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:32<01:06,  3.17s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:35<01:03,  3.17s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:38<01:00,  3.17s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:41<00:57,  3.19s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:44<00:54,  3.18s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:47<00:51,  3.19s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:51<00:47,  3.18s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:54<00:44,  3.17s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:57<00:41,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:00<00:38,  3.17s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:03<00:34,  3.16s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [02:06<00:31,  3.17s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [02:10<00:28,  3.17s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:13<00:25,  3.16s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:16<00:22,  3.17s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:19<00:19,  3.18s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:22<00:15,  3.17s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:25<00:12,  3.17s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:29<00:09,  3.17s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:32<00:06,  3.17s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:35<00:03,  3.17s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:38<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 200 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:20,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:17,  2.86s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:15,  2.87s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:11<02:12,  2.88s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:14<02:08,  2.86s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:17<02:05,  2.86s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:20<02:03,  2.87s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:22<02:00,  2.87s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:25<01:57,  2.86s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:28<01:54,  2.87s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:31<01:52,  2.87s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:34<01:49,  2.87s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:37<01:45,  2.86s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:40<01:42,  2.86s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:43<01:40,  2.86s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:45<01:37,  2.86s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:48<01:34,  2.87s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:51<01:31,  2.86s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:54<01:28,  2.87s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:57<01:26,  2.87s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:00<01:23,  2.87s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:03<01:20,  2.87s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:05<01:17,  2.87s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:08<01:14,  2.87s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:11<01:11,  2.86s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:14<01:08,  2.86s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:17<01:05,  2.87s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:20<01:03,  2.87s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:23<01:00,  2.86s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:25<00:57,  2.86s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:28<00:54,  2.85s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:31<00:51,  2.86s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:34<00:48,  2.86s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:37<00:45,  2.86s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:40<00:43,  2.87s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:43<00:40,  2.89s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:46<00:37,  2.89s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:49<00:34,  2.88s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:51<00:31,  2.87s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:54<00:28,  2.87s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:57<00:25,  2.86s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [02:00<00:23,  2.88s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [02:03<00:20,  2.88s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [02:06<00:17,  2.87s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:09<00:14,  2.86s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:11<00:11,  2.87s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:14<00:08,  2.86s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:17<00:05,  2.87s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:20<00:02,  2.87s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:23<00:00,  2.87s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 200 0.005 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:38,  4.56s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:33,  4.55s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:29,  4.55s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:24,  4.55s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:19,  4.54s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:15,  4.54s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:10,  4.54s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:07,  4.56s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:02,  4.55s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:57,  4.54s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:52,  4.54s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:59<02:47,  4.52s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:08<02:38,  4.54s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:34,  4.53s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:17<02:29,  4.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:26<02:20,  4.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:16,  4.54s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:35<02:11,  4.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:07,  4.54s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:44<02:02,  4.54s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:53<01:53,  4.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.53s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:02<01:44,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:11<01:35,  4.53s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:16<01:30,  4.53s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:20<01:26,  4.54s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:25<01:21,  4.54s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:29<01:17,  4.54s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:34<01:12,  4.54s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:08,  4.56s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:43<01:03,  4.55s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.54s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:52<00:54,  4.53s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:56<00:49,  4.53s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:01<00:45,  4.57s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:06<00:41,  4.59s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:10<00:36,  4.60s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:15<00:32,  4.57s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:19<00:27,  4.56s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:24<00:22,  4.55s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:28<00:18,  4.54s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:33<00:13,  4.54s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:37<00:09,  4.53s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:42<00:04,  4.53s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:47<00:00,  4.54s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 400 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:17,  2.80s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:12,  2.77s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:08,  2.74s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:05,  2.73s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:02,  2.72s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:59,  2.71s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:56,  2.70s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.70s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:50,  2.69s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:27<01:47,  2.69s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.69s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:42,  2.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:35<01:39,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:37,  2.70s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:34,  2.69s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:43<01:31,  2.69s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:25,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.69s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:18,  2.70s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.70s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:10,  2.70s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:10<01:04,  2.69s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:02,  2.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.69s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:18<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.68s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.69s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:26<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:43,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.70s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.69s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.68s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:45<00:29,  2.69s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:27,  2.73s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.71s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:53<00:21,  2.71s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:18,  2.70s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:01<00:13,  2.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:04<00:10,  2.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.70s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.70s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:12<00:02,  2.69s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.70s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 400 0.001 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:06,  2.57s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:02,  2.55s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.54s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:54,  2.53s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:51,  2.53s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:46,  2.53s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:43,  2.52s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:41,  2.53s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:38,  2.52s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:35,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:32<01:33,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:31,  2.53s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:37<01:28,  2.54s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:26,  2.54s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:42<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:48<01:18,  2.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:16,  2.54s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.53s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.53s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.52s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:02,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.51s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:57,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:52,  2.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.52s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.52s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:31<00:35,  2.57s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:33,  2.56s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.55s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.54s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.54s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.54s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.53s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.53s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.53s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.53s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.52s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.53s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 400 0.001 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:38,  4.55s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:32,  4.53s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:27,  4.52s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:23,  4.51s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:18,  4.51s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:14,  4.52s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:09,  4.52s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:04,  4.51s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:00,  4.51s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:55,  4.51s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:51,  4.52s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:58<02:46,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.51s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:07<02:38,  4.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:33,  4.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:16<02:29,  4.54s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:25<02:20,  4.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:15,  4.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:34<02:10,  4.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:06,  4.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:43<02:01,  4.51s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.51s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:52<01:52,  4.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.50s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:01<01:43,  4.50s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.50s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:10<01:34,  4.50s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:15<01:30,  4.51s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:19<01:25,  4.51s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:24<01:21,  4.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:28<01:17,  4.53s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:33<01:12,  4.53s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:08,  4.54s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:42<01:03,  4.52s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:51<00:54,  4.51s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:56<00:49,  4.51s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:00<00:44,  4.50s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:05<00:40,  4.50s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:09<00:36,  4.50s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:14<00:31,  4.49s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:18<00:26,  4.50s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:23<00:22,  4.49s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:27<00:17,  4.50s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:32<00:13,  4.50s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:36<00:08,  4.50s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:41<00:04,  4.50s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00,  4.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 400 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:12,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:09,  2.70s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:06,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:03,  2.69s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:00,  2.68s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:58,  2.68s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:55,  2.68s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.69s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:50,  2.69s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:26<01:47,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.69s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:42,  2.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:34<01:39,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:36,  2.68s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:33,  2.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:42<01:31,  2.68s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:25,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.70s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:17,  2.69s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.68s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:10,  2.69s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:09<01:04,  2.68s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:01,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.68s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:17<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.69s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.70s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:25<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:42,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.68s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.68s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.68s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:44<00:29,  2.68s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:26,  2.69s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:52<00:21,  2.70s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:19,  2.71s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.71s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:00<00:13,  2.70s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:03<00:10,  2.70s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.69s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.68s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:11<00:02,  2.69s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.69s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 400 0.01 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:05,  2.57s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:02,  2.56s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.55s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.54s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:54,  2.54s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:51,  2.53s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:46,  2.53s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:43,  2.52s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:40,  2.51s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:38,  2.52s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:35,  2.53s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:32<01:33,  2.53s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:30,  2.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:37<01:28,  2.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:25,  2.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:42<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.53s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:47<01:18,  2.53s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:15,  2.53s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.52s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:03,  2.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.53s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:58,  2.54s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.54s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:53,  2.53s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.53s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.52s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.51s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:30<00:35,  2.53s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:32,  2.53s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.54s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.54s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.54s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.52s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.52s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.52s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.52s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.52s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.53s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

SGD 50 400 0.01 DONE
NEW LOOP

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:04<03:43,  4.56s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:09<03:37,  4.54s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:13<03:33,  4.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:18<03:27,  4.52s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:22<03:23,  4.53s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:27<03:19,  4.52s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:31<03:14,  4.52s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:36<03:09,  4.52s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:40<03:04,  4.51s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:45<03:00,  4.52s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:49<02:55,  4.51s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:54<02:51,  4.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:58<02:46,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [01:03<02:42,  4.52s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [01:07<02:38,  4.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [01:12<02:33,  4.52s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [01:16<02:29,  4.52s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [01:21<02:24,  4.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [01:25<02:19,  4.50s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [01:30<02:15,  4.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [01:34<02:10,  4.51s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [01:39<02:06,  4.50s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:43<02:01,  4.51s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:48<01:57,  4.51s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:52<01:52,  4.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:57<01:48,  4.51s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [02:01<01:44,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [02:06<01:39,  4.53s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [02:10<01:34,  4.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [02:15<01:30,  4.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [02:19<01:25,  4.51s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [02:24<01:21,  4.54s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [02:29<01:16,  4.52s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [02:33<01:12,  4.51s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [02:38<01:07,  4.51s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [02:42<01:02,  4.49s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [02:47<00:58,  4.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [02:51<00:53,  4.49s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [02:55<00:49,  4.49s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [03:00<00:44,  4.49s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [03:05<00:40,  4.50s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [03:09<00:36,  4.52s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [03:14<00:31,  4.51s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [03:18<00:27,  4.51s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [03:23<00:22,  4.51s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [03:27<00:18,  4.51s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [03:32<00:13,  4.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [03:36<00:09,  4.51s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [03:41<00:04,  4.51s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [03:45<00:00,  4.51s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

NADAM 50 400 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:12,  2.70s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:09,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:08<02:06,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<02:04,  2.70s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:13<02:01,  2.70s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:16<01:58,  2.70s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:18<01:56,  2.70s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:21<01:53,  2.69s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:24<01:49,  2.68s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:26<01:47,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:29<01:44,  2.68s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:32<01:41,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:34<01:39,  2.68s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:37<01:37,  2.70s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:40<01:34,  2.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:43<01:31,  2.70s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:45<01:28,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:48<01:26,  2.69s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:51<01:23,  2.69s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:53<01:20,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:56<01:17,  2.69s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:59<01:15,  2.69s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [01:01<01:12,  2.69s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:04<01:09,  2.69s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:07<01:07,  2.68s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:09<01:04,  2.69s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:12<01:01,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:15<00:59,  2.70s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:18<00:56,  2.69s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:20<00:53,  2.70s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:23<00:51,  2.69s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:26<00:48,  2.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:28<00:45,  2.69s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:31<00:42,  2.69s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:34<00:40,  2.68s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:36<00:37,  2.69s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:39<00:34,  2.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:42<00:32,  2.69s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:44<00:29,  2.68s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:47<00:26,  2.69s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:50<00:24,  2.69s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:52<00:21,  2.69s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:55<00:18,  2.68s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:58<00:16,  2.69s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [02:01<00:13,  2.68s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [02:03<00:10,  2.68s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [02:06<00:08,  2.67s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:09<00:05,  2.69s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:11<00:02,  2.70s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:14<00:00,  2.69s/it]








  0%|                                                                                                                                                                                                                                                                                                 | 0/50 [00:00<?, ?it/s]

ADAM 50 400 0.005 DONE

  2%|█████▌                                                                                                                                                                                                                                                                                   | 1/50 [00:02<02:04,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                             | 2/50 [00:05<02:01,  2.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                        | 3/50 [00:07<01:59,  2.54s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                  | 4/50 [00:10<01:56,  2.53s/it]







 10%|████████████████████████████                                                                                                                                                                                                                                                             | 5/50 [00:12<01:53,  2.52s/it]







 12%|█████████████████████████████████▋                                                                                                                                                                                                                                                       | 6/50 [00:15<01:50,  2.52s/it]







 14%|███████████████████████████████████████▎                                                                                                                                                                                                                                                 | 7/50 [00:17<01:48,  2.53s/it]







 16%|████████████████████████████████████████████▉                                                                                                                                                                                                                                            | 8/50 [00:20<01:47,  2.56s/it]







 18%|██████████████████████████████████████████████████▌                                                                                                                                                                                                                                      | 9/50 [00:22<01:45,  2.56s/it]







 20%|████████████████████████████████████████████████████████                                                                                                                                                                                                                                | 10/50 [00:25<01:41,  2.55s/it]







 22%|█████████████████████████████████████████████████████████████▌                                                                                                                                                                                                                          | 11/50 [00:27<01:39,  2.55s/it]







 24%|███████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                    | 12/50 [00:30<01:36,  2.55s/it]







 26%|████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                               | 13/50 [00:33<01:33,  2.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                         | 14/50 [00:35<01:31,  2.53s/it]







 30%|████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                    | 15/50 [00:38<01:28,  2.53s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                              | 16/50 [00:40<01:25,  2.53s/it]







 34%|███████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                                        | 17/50 [00:43<01:23,  2.53s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                   | 18/50 [00:45<01:20,  2.52s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                             | 19/50 [00:48<01:18,  2.52s/it]







 40%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                        | 20/50 [00:50<01:15,  2.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                  | 21/50 [00:53<01:13,  2.52s/it]







 44%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                            | 22/50 [00:55<01:10,  2.53s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                       | 23/50 [00:58<01:08,  2.53s/it]







 48%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                 | 24/50 [01:00<01:05,  2.53s/it]







 50%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                            | 25/50 [01:03<01:03,  2.53s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                      | 26/50 [01:05<01:00,  2.52s/it]







 54%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                | 27/50 [01:08<00:57,  2.52s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                           | 28/50 [01:10<00:55,  2.52s/it]







 58%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                     | 29/50 [01:13<00:52,  2.52s/it]







 60%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                | 30/50 [01:15<00:50,  2.52s/it]







 62%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                          | 31/50 [01:18<00:47,  2.52s/it]







 64%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                    | 32/50 [01:20<00:45,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                               | 33/50 [01:23<00:42,  2.53s/it]







 68%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                         | 34/50 [01:25<00:40,  2.52s/it]







 70%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                    | 35/50 [01:28<00:37,  2.52s/it]







 72%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                              | 36/50 [01:30<00:35,  2.52s/it]







 74%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                        | 37/50 [01:33<00:32,  2.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                   | 38/50 [01:36<00:30,  2.52s/it]







 78%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                             | 39/50 [01:38<00:27,  2.52s/it]







 80%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                        | 40/50 [01:41<00:25,  2.51s/it]







 82%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                  | 41/50 [01:43<00:22,  2.51s/it]







 84%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                            | 42/50 [01:46<00:20,  2.51s/it]







 86%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                       | 43/50 [01:48<00:17,  2.51s/it]







 88%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                 | 44/50 [01:51<00:15,  2.52s/it]







 90%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 45/50 [01:53<00:12,  2.52s/it]







 92%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                      | 46/50 [01:56<00:10,  2.52s/it]







 94%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                | 47/50 [01:58<00:07,  2.52s/it]







 96%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 48/50 [02:01<00:05,  2.52s/it]







 98%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 49/50 [02:03<00:02,  2.51s/it]







100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 50/50 [02:06<00:00,  2.52s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 50 400 0.005 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:34, 11.86s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:23, 11.87s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<19:11, 11.87s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:58, 11.86s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:59<18:45, 11.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:11<18:32, 11.83s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:21, 11.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:08, 11.83s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:46<17:55, 11.82s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:58<17:42, 11.81s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:10<17:28, 11.78s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:21<17:19, 11.81s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:33<17:07, 11.81s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:45<16:57, 11.83s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:57<16:43, 11.81s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:09<16:32, 11.81s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:20<16:18, 11.79s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:32<16:06, 11.78s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:44<15:54, 11.78s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:56<15:43, 11.80s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:08<15:32, 11.81s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:19<15:19, 11.79s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:31<15:07, 11.79s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:43<14:54, 11.77s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:55<14:41, 11.76s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:06<14:32, 11.79s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:18<14:19, 11.77s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:30<14:06, 11.76s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:42<13:54, 11.75s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:53<13:42, 11.75s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:05<13:30, 11.75s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:17<13:19, 11.76s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:29<13:08, 11.77s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:41<12:57, 11.77s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:52<12:44, 11.76s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:04<12:33, 11.77s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:16<12:21, 11.77s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:28<12:10, 11.78s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:39<11:58, 11.78s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:51<11:46, 11.77s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [08:03<11:34, 11.78s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:15<11:22, 11.76s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:26<11:11, 11.78s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:38<11:01, 11.81s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:50<10:50, 11.83s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [09:02<10:39, 11.84s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:14<10:25, 11.81s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:26<10:13, 11.81s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:37<10:01, 11.79s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:49<09:50, 11.81s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [10:01<09:38, 11.80s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:13<09:25, 11.78s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:25<09:13, 11.78s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:36<09:00, 11.74s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:48<08:48, 11.75s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [11:00<08:38, 11.77s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:12<08:26, 11.77s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:23<08:13, 11.76s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:35<08:02, 11.76s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:47<07:49, 11.75s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:58<07:37, 11.73s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:10<07:26, 11.74s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:22<07:15, 11.78s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:34<07:03, 11.77s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:46<06:51, 11.76s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:57<06:39, 11.75s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:09<06:27, 11.76s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:21<06:18, 11.81s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:33<06:05, 11.80s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:45<05:53, 11.80s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:56<05:42, 11.80s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:08<05:30, 11.80s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:20<05:18, 11.81s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:32<05:06, 11.78s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:43<04:54, 11.77s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:55<04:42, 11.78s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:07<04:31, 11.83s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:19<04:19, 11.80s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:31<04:07, 11.79s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:42<03:55, 11.78s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:54<03:43, 11.77s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [16:06<03:31, 11.75s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:18<03:19, 11.76s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:30<03:08, 11.79s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:41<02:56, 11.77s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:53<02:44, 11.76s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [17:05<02:33, 11.78s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:17<02:21, 11.77s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:28<02:09, 11.77s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:40<01:57, 11.76s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:52<01:45, 11.76s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [18:04<01:33, 11.74s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:15<01:22, 11.74s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:27<01:10, 11.76s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:39<00:58, 11.77s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:51<00:47, 11.78s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [19:02<00:35, 11.78s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:14<00:23, 11.77s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:26<00:11, 11.78s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:38<00:00, 11.78s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 100 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:43,  4.69s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:42,  4.71s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:37,  4.72s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:31,  4.71s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:27,  4.71s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:23,  4.72s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:18,  4.71s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:37<07:14,  4.72s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:10,  4.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:03,  4.71s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:51<07:01,  4.73s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:56<06:57,  4.74s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:51,  4.73s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:46,  4.73s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:10<06:42,  4.74s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:37,  4.73s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:32,  4.73s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:25<06:27,  4.73s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:29<06:23,  4.74s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:20,  4.76s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:15,  4.75s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:44<06:10,  4.75s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:03,  4.72s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<05:57,  4.71s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:58<05:54,  4.72s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:02<05:48,  4.71s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:43,  4.70s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:38,  4.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:17<05:34,  4.70s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:21<05:28,  4.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:26<05:24,  4.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:31<05:20,  4.71s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:35<05:15,  4.71s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:40<05:10,  4.71s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:05,  4.70s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:50<05:02,  4.72s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:54<04:58,  4.73s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:51,  4.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:04<04:47,  4.72s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:08<04:42,  4.71s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:39,  4.73s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:34,  4.73s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:23<04:28,  4.71s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:27<04:22,  4.70s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:18,  4.71s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:37<04:14,  4.72s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:41<04:10,  4.73s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:46<04:04,  4.71s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.71s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:55<03:55,  4.71s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:00<03:50,  4.70s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:05<03:45,  4.70s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:10<03:41,  4.72s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:14<03:37,  4.72s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:19<03:32,  4.72s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:24<03:27,  4.72s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:29<03:22,  4.72s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:33<03:17,  4.71s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:38<03:13,  4.72s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:43<03:08,  4.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:47<03:03,  4.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:52<02:58,  4.70s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:57<02:53,  4.69s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:01<02:49,  4.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:06<02:45,  4.72s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:11<02:40,  4.73s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:16<02:35,  4.72s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:20<02:31,  4.73s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:25<02:26,  4.74s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:30<02:21,  4.72s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:35<02:17,  4.73s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:39<02:12,  4.72s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:44<02:07,  4.72s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:49<02:02,  4.72s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:53<01:58,  4.72s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:58<01:53,  4.72s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:03<01:48,  4.73s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:08<01:43,  4.72s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:12<01:39,  4.72s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:17<01:34,  4.73s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:22<01:29,  4.73s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:26<01:24,  4.71s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:31<01:19,  4.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:36<01:15,  4.71s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:41<01:10,  4.73s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:45<01:06,  4.73s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:50<01:01,  4.71s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:55<00:56,  4.71s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:59<00:51,  4.71s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:04<00:47,  4.73s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:09<00:42,  4.72s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:14<00:37,  4.73s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:18<00:33,  4.72s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:23<00:28,  4.73s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:28<00:23,  4.72s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:33<00:18,  4.72s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:37<00:14,  4.72s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:42<00:09,  4.70s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:47<00:04,  4.70s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:51<00:00,  4.72s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 100 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:00,  4.25s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:51,  4.20s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:44,  4.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:39,  4.16s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:33,  4.14s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:30,  4.15s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:24,  4.13s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:33<06:19,  4.12s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:37<06:15,  4.13s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:41<06:10,  4.12s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:45<06:05,  4.11s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<06:04,  4.15s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<06:01,  4.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:55,  4.13s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:51,  4.14s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:06<05:47,  4.14s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:10<05:41,  4.12s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:14<05:36,  4.10s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:18<05:30,  4.08s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:22<05:28,  4.10s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:26<05:24,  4.11s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:30<05:20,  4.11s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:34<05:16,  4.11s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:38<05:11,  4.10s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:42<05:06,  4.09s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:00,  4.07s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:51<04:57,  4.07s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:55<04:53,  4.07s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:59<04:49,  4.07s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:03<04:45,  4.08s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:07<04:42,  4.09s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:11<04:37,  4.08s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:15<04:33,  4.08s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:19<04:29,  4.09s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:23<04:26,  4.10s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:27<04:23,  4.12s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:32<04:18,  4.11s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:36<04:14,  4.11s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:40<04:11,  4.13s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:44<04:08,  4.14s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:48<04:04,  4.14s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:52<03:59,  4.12s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:56<03:54,  4.12s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:00<03:51,  4.13s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:04<03:45,  4.10s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:09<03:41,  4.09s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:13<03:38,  4.12s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:17<03:33,  4.11s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:21<03:28,  4.09s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:25<03:26,  4.12s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:29<03:22,  4.14s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:33<03:17,  4.12s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:37<03:12,  4.10s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:41<03:08,  4.09s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:46<03:04,  4.09s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:50<02:59,  4.09s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:54<02:55,  4.08s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:58<02:51,  4.08s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:02<02:47,  4.08s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:06<02:42,  4.07s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:10<02:38,  4.06s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:14<02:35,  4.09s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:18<02:31,  4.10s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:22<02:27,  4.09s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:26<02:23,  4.10s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:31<02:19,  4.10s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:35<02:14,  4.08s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:39<02:10,  4.09s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:43<02:06,  4.08s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:47<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:51<01:58,  4.08s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:55<01:54,  4.10s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:59<01:50,  4.09s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:03<01:46,  4.09s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:07<01:42,  4.08s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:11<01:37,  4.06s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:15<01:33,  4.08s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:29,  4.07s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:24<01:25,  4.07s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:28<01:21,  4.09s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:32<01:17,  4.07s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:36<01:13,  4.08s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:40<01:09,  4.07s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:44<01:05,  4.08s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:48<01:01,  4.09s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:52<00:57,  4.08s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:56<00:53,  4.08s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:00<00:48,  4.08s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:04<00:44,  4.09s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:09<00:41,  4.11s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:13<00:36,  4.09s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:17<00:32,  4.09s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:21<00:28,  4.09s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:25<00:24,  4.07s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:29<00:20,  4.09s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:33<00:16,  4.10s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:37<00:12,  4.08s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:41<00:08,  4.07s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:45<00:04,  4.07s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00,  4.10s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 100 0.001 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:28, 11.80s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:14, 11.78s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<18:58, 11.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:50, 11.78s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:58<18:37, 11.76s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:10<18:23, 11.74s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:12, 11.75s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:02, 11.76s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:45<17:47, 11.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:57<17:37, 11.75s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:09<17:23, 11.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:20<17:09, 11.70s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:32<16:56, 11.69s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:44<16:43, 11.67s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:55<16:31, 11.66s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:07<16:19, 11.66s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:19<16:10, 11.69s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:30<15:59, 11.70s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:42<15:47, 11.70s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:54<15:35, 11.69s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:05<15:24, 11.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:17<15:12, 11.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:29<15:08, 11.80s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:41<14:53, 11.75s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:52<14:38, 11.72s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:04<14:25, 11.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:16<14:12, 11.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:27<14:01, 11.68s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:39<13:50, 11.69s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:51<13:37, 11.68s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:02<13:25, 11.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:14<13:13, 11.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:26<13:00, 11.65s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:37<12:48, 11.65s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:49<12:36, 11.64s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:01<12:29, 11.71s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:12<12:16, 11.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:24<12:05, 11.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:36<11:52, 11.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:47<11:39, 11.66s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [07:59<11:30, 11.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:11<11:18, 11.70s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:23<11:05, 11.68s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:34<10:53, 11.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:46<10:42, 11.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [08:58<10:30, 11.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:10<10:22, 11.75s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:21<10:08, 11.71s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:33<09:55, 11.69s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:44<09:42, 11.66s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [09:56<09:31, 11.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:08<09:20, 11.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:19<09:08, 11.67s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:31<08:57, 11.67s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:43<08:46, 11.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [10:54<08:33, 11.68s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:06<08:21, 11.66s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:18<08:09, 11.65s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:29<07:58, 11.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:41<07:46, 11.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:53<07:34, 11.66s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:05<07:24, 11.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:16<07:12, 11.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:28<07:01, 11.70s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:40<06:49, 11.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:51<06:37, 11.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:03<06:25, 11.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:15<06:13, 11.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:26<06:02, 11.70s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:38<05:51, 11.71s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:50<05:39, 11.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:01<05:27, 11.70s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:13<05:15, 11.69s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:25<05:03, 11.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:36<04:51, 11.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:48<04:40, 11.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:00<04:28, 11.69s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:12<04:17, 11.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:23<04:05, 11.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:35<03:53, 11.69s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:47<03:42, 11.72s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [15:58<03:31, 11.73s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:10<03:19, 11.72s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:22<03:07, 11.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:33<02:55, 11.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:45<02:43, 11.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [16:57<02:31, 11.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:08<02:20, 11.68s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:20<02:08, 11.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:32<01:56, 11.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:43<01:44, 11.64s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [17:55<01:32, 11.62s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:07<01:21, 11.63s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:18<01:09, 11.62s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:30<00:58, 11.65s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:42<00:46, 11.64s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [18:53<00:34, 11.65s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:05<00:23, 11.65s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:16<00:11, 11.64s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:28<00:00, 11.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 100 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:52,  4.78s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:46,  4.77s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:39,  4.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:33,  4.72s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:29,  4.73s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:24,  4.73s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:19,  4.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:37<07:15,  4.73s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:10,  4.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:04,  4.72s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:51<07:00,  4.73s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:56<06:56,  4.74s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:50,  4.72s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:45,  4.71s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:10<06:43,  4.74s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:37,  4.73s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:32,  4.73s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:24<06:25,  4.71s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:29<06:21,  4.71s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:16,  4.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:11,  4.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:43<06:07,  4.71s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:03,  4.72s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<06:00,  4.74s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:57<05:52,  4.70s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:02<05:47,  4.70s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:42,  4.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:38,  4.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:16<05:35,  4.72s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:21<05:29,  4.71s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:26<05:25,  4.71s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:30<05:20,  4.71s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:35<05:16,  4.72s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:40<05:10,  4.71s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:05,  4.70s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:49<05:01,  4.72s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:54<04:56,  4.71s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:52,  4.73s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:03<04:46,  4.70s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:08<04:42,  4.71s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:37,  4.71s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:33,  4.72s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:22<04:28,  4.71s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:27<04:23,  4.70s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:18,  4.70s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:36<04:13,  4.70s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:41<04:09,  4.70s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:46<04:04,  4.70s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.71s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:55<03:56,  4.72s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:00<03:50,  4.71s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:05<03:46,  4.71s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:09<03:41,  4.70s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:14<03:36,  4.70s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:19<03:30,  4.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:23<03:26,  4.69s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:28<03:22,  4.71s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:33<03:18,  4.72s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:38<03:14,  4.74s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:42<03:08,  4.71s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:47<03:03,  4.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:52<02:59,  4.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:56<02:54,  4.72s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:01<02:49,  4.70s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:06<02:43,  4.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:10<02:39,  4.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:15<02:34,  4.69s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:20<02:30,  4.69s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:24<02:25,  4.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:29<02:20,  4.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:34<02:16,  4.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:39<02:11,  4.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:43<02:06,  4.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:48<02:01,  4.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:53<01:56,  4.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:57<01:52,  4.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:02<01:48,  4.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:07<01:43,  4.70s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:11<01:38,  4.70s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:16<01:34,  4.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:21<01:29,  4.70s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:25<01:24,  4.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:30<01:19,  4.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:35<01:15,  4.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:40<01:10,  4.70s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:44<01:05,  4.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:49<01:01,  4.69s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:54<00:56,  4.69s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:58<00:51,  4.69s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:03<00:46,  4.69s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:08<00:42,  4.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:12<00:37,  4.70s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:17<00:32,  4.70s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:22<00:28,  4.69s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:27<00:23,  4.70s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:31<00:18,  4.71s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:36<00:14,  4.71s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:41<00:09,  4.71s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:45<00:04,  4.72s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:50<00:00,  4.71s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 100 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<06:43,  4.07s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:40,  4.09s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:35,  4.08s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:30,  4.07s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:28,  4.09s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:24,  4.09s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:21,  4.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:32<06:17,  4.10s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:36<06:13,  4.10s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:40<06:09,  4.11s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:45<06:05,  4.10s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<06:01,  4.11s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<05:56,  4.10s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:52,  4.10s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:49,  4.11s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:05<05:44,  4.10s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:09<05:40,  4.10s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:13<05:36,  4.10s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:17<05:29,  4.07s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:21<05:25,  4.07s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:25<05:22,  4.08s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:29<05:17,  4.07s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:34<05:14,  4.08s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:38<05:10,  4.09s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:42<05:06,  4.09s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:03,  4.10s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:50<04:58,  4.09s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:54<04:53,  4.08s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:58<04:51,  4.11s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:02<04:47,  4.11s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:06<04:43,  4.10s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:10<04:37,  4.08s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:15<04:33,  4.08s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:19<04:29,  4.09s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:23<04:24,  4.08s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:27<04:19,  4.06s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:31<04:16,  4.07s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:35<04:12,  4.08s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:39<04:09,  4.09s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:43<04:05,  4.09s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:47<04:00,  4.08s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:51<03:56,  4.07s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:55<03:51,  4.06s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:59<03:47,  4.07s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:03<03:44,  4.08s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:08<03:40,  4.08s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:12<03:35,  4.07s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:16<03:30,  4.05s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:20<03:27,  4.07s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:24<03:24,  4.08s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:28<03:20,  4.09s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:32<03:16,  4.09s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:36<03:13,  4.12s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:40<03:08,  4.09s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:44<03:03,  4.08s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:48<02:59,  4.09s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:52<02:55,  4.08s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:57<02:51,  4.09s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:01<02:48,  4.11s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:05<02:44,  4.11s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:09<02:40,  4.12s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:13<02:36,  4.13s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:17<02:33,  4.15s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:21<02:28,  4.12s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:25<02:23,  4.11s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:30<02:19,  4.11s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:34<02:15,  4.09s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:38<02:11,  4.10s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:42<02:07,  4.10s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:46<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:50<01:58,  4.09s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:54<01:54,  4.09s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:58<01:50,  4.09s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:02<01:46,  4.09s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:06<01:42,  4.08s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:10<01:37,  4.07s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:14<01:33,  4.08s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:29,  4.08s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:23<01:25,  4.06s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:27<01:21,  4.07s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:31<01:17,  4.07s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:35<01:13,  4.06s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:39<01:08,  4.06s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:43<01:05,  4.07s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:47<01:00,  4.07s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:51<00:56,  4.06s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:55<00:52,  4.07s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [05:59<00:48,  4.05s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:03<00:44,  4.07s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:07<00:40,  4.08s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:11<00:36,  4.07s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:15<00:32,  4.08s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:20<00:28,  4.09s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:24<00:24,  4.09s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:28<00:20,  4.09s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:32<00:16,  4.10s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:36<00:12,  4.10s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:40<00:08,  4.12s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:44<00:04,  4.13s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:48<00:00,  4.09s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 100 0.01 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:11<19:37, 11.90s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:23<19:28, 11.92s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:35<19:09, 11.85s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:47<18:54, 11.82s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:59<18:39, 11.79s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [01:10<18:28, 11.79s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [01:22<18:14, 11.77s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [01:34<18:04, 11.79s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:46<17:49, 11.75s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:57<17:36, 11.74s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [02:09<17:23, 11.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [02:21<17:11, 11.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [02:32<16:58, 11.71s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [02:44<16:46, 11.70s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [02:56<16:33, 11.69s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [03:07<16:21, 11.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [03:19<16:09, 11.69s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [03:31<15:58, 11.69s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [03:42<15:46, 11.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [03:54<15:36, 11.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [04:06<15:26, 11.72s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [04:18<15:11, 11.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [04:29<14:58, 11.68s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [04:41<14:47, 11.67s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [04:53<14:36, 11.69s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [05:04<14:28, 11.74s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [05:16<14:17, 11.75s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [05:28<14:05, 11.74s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [05:40<13:51, 11.71s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [05:51<13:40, 11.72s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [06:03<13:27, 11.70s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [06:15<13:14, 11.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [06:26<13:00, 11.65s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [06:38<12:51, 11.70s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [06:50<12:39, 11.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [07:01<12:27, 11.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [07:13<12:15, 11.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [07:25<12:04, 11.68s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [07:36<11:51, 11.66s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [07:48<11:41, 11.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [08:00<11:29, 11.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [08:11<11:16, 11.67s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [08:23<11:04, 11.67s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [08:35<10:54, 11.69s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [08:46<10:41, 11.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [08:58<10:29, 11.65s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [09:10<10:19, 11.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [09:21<10:07, 11.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [09:33<09:55, 11.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [09:45<09:43, 11.68s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [09:57<09:34, 11.72s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [10:08<09:22, 11.72s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [10:20<09:11, 11.73s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [10:32<08:57, 11.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [10:43<08:45, 11.68s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [10:55<08:33, 11.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [11:07<08:22, 11.68s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [11:18<08:10, 11.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [11:30<07:59, 11.70s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [11:42<07:47, 11.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [11:54<07:36, 11.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [12:05<07:25, 11.72s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [12:17<07:13, 11.71s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [12:29<07:01, 11.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [12:40<06:49, 11.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [12:52<06:37, 11.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [13:04<06:25, 11.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [13:15<06:12, 11.66s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [13:27<06:01, 11.67s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [13:39<05:49, 11.66s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [13:50<05:39, 11.70s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [14:02<05:27, 11.70s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [14:14<05:15, 11.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [14:25<05:03, 11.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [14:37<04:51, 11.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [14:49<04:40, 11.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [15:00<04:28, 11.66s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [15:12<04:16, 11.66s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [15:24<04:04, 11.65s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [15:35<03:53, 11.66s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [15:47<03:41, 11.66s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [15:59<03:30, 11.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [16:10<03:18, 11.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [16:22<03:06, 11.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [16:34<02:55, 11.73s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [16:46<02:43, 11.71s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [16:57<02:31, 11.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [17:09<02:20, 11.67s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [17:20<02:08, 11.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [17:32<01:56, 11.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [17:44<01:44, 11.66s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [17:56<01:33, 11.69s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [18:07<01:21, 11.65s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [18:19<01:09, 11.66s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [18:30<00:58, 11.64s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [18:42<00:46, 11.67s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [18:54<00:34, 11.66s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [19:05<00:23, 11.67s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [19:17<00:11, 11.66s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [19:29<00:00, 11.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 100 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:51,  4.76s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:45,  4.75s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:14<07:39,  4.74s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:36,  4.75s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:23<07:31,  4.76s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:28<07:26,  4.75s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:33<07:22,  4.76s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:38<07:21,  4.80s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:42<07:13,  4.77s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:47<07:07,  4.75s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:52<07:01,  4.74s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:57<06:57,  4.75s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:01<06:52,  4.75s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:06<06:46,  4.73s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:11<06:41,  4.72s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:15<06:35,  4.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:20<06:31,  4.72s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:25<06:27,  4.72s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:30<06:21,  4.71s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:34<06:17,  4.71s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:39<06:11,  4.71s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:44<06:08,  4.72s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:48<06:04,  4.73s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:53<06:00,  4.74s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:58<05:54,  4.73s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:03<05:50,  4.73s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:07<05:44,  4.72s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:12<05:41,  4.75s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:17<05:38,  4.77s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:22<05:34,  4.78s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:27<05:29,  4.78s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:31<05:23,  4.76s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:36<05:17,  4.74s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:41<05:12,  4.73s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:45<05:06,  4.71s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:50<05:00,  4.70s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:55<04:55,  4.69s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:59<04:50,  4.69s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [03:04<04:45,  4.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:09<04:41,  4.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:13<04:37,  4.70s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:18<04:33,  4.72s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:23<04:29,  4.73s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:28<04:24,  4.73s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:32<04:20,  4.73s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:37<04:14,  4.71s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:42<04:10,  4.72s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:47<04:05,  4.72s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:51<04:00,  4.72s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:56<03:56,  4.73s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [04:01<03:52,  4.74s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [04:06<03:46,  4.73s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [04:10<03:42,  4.73s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:15<03:37,  4.73s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:20<03:32,  4.73s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:25<03:28,  4.75s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:29<03:24,  4.76s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:34<03:18,  4.73s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:39<03:14,  4.74s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:43<03:08,  4.70s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:48<03:03,  4.70s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:53<02:58,  4.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:57<02:54,  4.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [05:02<02:48,  4.69s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [05:07<02:44,  4.70s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [05:12<02:39,  4.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:16<02:34,  4.69s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:21<02:29,  4.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:26<02:24,  4.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:30<02:20,  4.69s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:35<02:15,  4.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:40<02:11,  4.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:44<02:06,  4.69s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:49<02:01,  4.69s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:54<01:57,  4.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:58<01:52,  4.70s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [06:03<01:48,  4.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [06:08<01:43,  4.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [06:13<01:38,  4.70s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:17<01:34,  4.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:22<01:29,  4.71s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:27<01:24,  4.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:31<01:19,  4.69s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:36<01:14,  4.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:41<01:10,  4.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:45<01:05,  4.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:50<01:01,  4.70s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:55<00:56,  4.74s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [07:00<00:52,  4.74s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [07:04<00:47,  4.77s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [07:09<00:42,  4.75s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [07:14<00:38,  4.75s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:19<00:33,  4.73s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:23<00:28,  4.75s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:28<00:23,  4.74s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:33<00:18,  4.74s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:38<00:14,  4.75s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:42<00:09,  4.73s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:47<00:04,  4.71s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:52<00:00,  4.72s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 100 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<06:54,  4.18s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:08<06:47,  4.16s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:12<06:41,  4.14s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:16<06:34,  4.11s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:20<06:30,  4.11s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:24<06:24,  4.09s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:28<06:21,  4.10s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:32<06:16,  4.09s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:36<06:11,  4.08s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:40<06:07,  4.08s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:44<06:02,  4.07s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:49<05:58,  4.07s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:53<05:53,  4.06s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:57<05:49,  4.07s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:01<05:47,  4.08s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:05<05:42,  4.08s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:09<05:38,  4.07s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:13<05:34,  4.08s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:17<05:31,  4.09s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:21<05:27,  4.09s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:25<05:21,  4.07s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:29<05:16,  4.06s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:33<05:13,  4.07s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:37<05:09,  4.07s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:41<05:03,  4.05s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:46<05:00,  4.06s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:50<04:56,  4.06s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:54<04:52,  4.07s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:58<04:48,  4.06s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:02<04:42,  4.04s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:06<04:39,  4.06s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:10<04:35,  4.05s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:14<04:32,  4.07s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:18<04:29,  4.08s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:22<04:26,  4.10s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:26<04:23,  4.12s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:30<04:19,  4.12s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:35<04:14,  4.11s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:39<04:09,  4.09s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:43<04:06,  4.10s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:47<04:02,  4.11s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:51<03:58,  4.11s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:55<03:55,  4.13s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:59<03:52,  4.15s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:03<03:47,  4.14s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:08<03:42,  4.12s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:12<03:38,  4.13s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:16<03:33,  4.11s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:20<03:29,  4.11s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:24<03:24,  4.08s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:28<03:20,  4.09s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:32<03:16,  4.09s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:36<03:11,  4.08s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [03:40<03:07,  4.08s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [03:44<03:03,  4.07s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [03:48<02:59,  4.08s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:52<02:54,  4.07s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:56<02:51,  4.08s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:01<02:47,  4.09s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:05<02:43,  4.08s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:09<02:39,  4.08s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:13<02:35,  4.09s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:17<02:30,  4.08s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:21<02:27,  4.08s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:25<02:23,  4.09s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:29<02:19,  4.09s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [04:33<02:15,  4.09s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [04:37<02:11,  4.09s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [04:41<02:06,  4.09s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [04:46<02:02,  4.09s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [04:50<01:59,  4.11s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [04:54<01:55,  4.13s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [04:58<01:51,  4.12s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:02<01:47,  4.13s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:06<01:42,  4.12s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:10<01:38,  4.12s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:14<01:34,  4.12s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:19<01:30,  4.11s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:23<01:27,  4.17s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:27<01:23,  4.15s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [05:31<01:18,  4.12s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [05:35<01:13,  4.10s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [05:39<01:09,  4.10s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [05:43<01:05,  4.10s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [05:47<01:01,  4.10s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [05:52<00:57,  4.11s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [05:56<00:53,  4.09s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:00<00:49,  4.09s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:04<00:44,  4.08s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:08<00:40,  4.07s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:12<00:36,  4.10s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:16<00:32,  4.11s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:20<00:28,  4.10s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [06:24<00:24,  4.07s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [06:28<00:20,  4.07s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [06:32<00:16,  4.05s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [06:36<00:12,  4.06s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [06:40<00:08,  4.06s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [06:45<00:04,  4.10s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [06:49<00:00,  4.09s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 100 0.005 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:11,  6.78s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<11:02,  6.76s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:55,  6.75s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:26<10:47,  6.75s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:40,  6.74s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:33,  6.74s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:27,  6.74s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:20,  6.74s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:17,  6.79s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:10,  6.78s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:14<10:03,  6.78s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:21<09:57,  6.79s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:50,  6.79s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:45,  6.81s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:41<09:43,  6.87s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:48<09:38,  6.89s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:55<09:32,  6.90s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:02<09:27,  6.92s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:09<09:31,  7.05s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:16<09:19,  7.00s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:24<09:24,  7.14s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:32<09:32,  7.34s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:39<09:17,  7.24s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:45<09:01,  7.12s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:52<08:45,  7.01s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:59<08:33,  6.93s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:06<08:22,  6.89s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:13<08:12,  6.84s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:19<08:04,  6.82s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:26<07:55,  6.80s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:33<07:48,  6.79s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:40<07:42,  6.80s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:46<07:34,  6.78s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:53<07:26,  6.77s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [04:00<07:20,  6.77s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:07<07:13,  6.77s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:13<07:06,  6.78s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:20<06:59,  6.76s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:27<06:52,  6.76s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:34<06:45,  6.76s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:40<06:38,  6.76s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:47<06:31,  6.75s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:54<06:24,  6.75s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [05:01<06:18,  6.75s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:07<06:11,  6.76s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:14<06:04,  6.75s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:21<05:58,  6.76s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:28<05:51,  6.76s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:34<05:44,  6.75s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:41<05:38,  6.77s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:48<05:31,  6.76s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:55<05:24,  6.75s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [06:02<05:17,  6.76s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:08<05:11,  6.76s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:15<05:04,  6.76s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:22<04:57,  6.76s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:29<04:50,  6.75s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:35<04:43,  6.76s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:42<04:36,  6.75s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:49<04:29,  6.74s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:56<04:22,  6.74s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [07:02<04:16,  6.75s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:09<04:09,  6.75s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:16<04:03,  6.75s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:23<03:56,  6.77s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:29<03:50,  6.77s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:36<03:43,  6.76s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:43<03:36,  6.78s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:50<03:29,  6.76s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:56<03:22,  6.75s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [08:03<03:15,  6.74s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:10<03:09,  6.75s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:17<03:02,  6.75s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:23<02:55,  6.75s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:30<02:48,  6.75s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:37<02:41,  6.75s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:44<02:35,  6.75s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:50<02:28,  6.74s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:57<02:21,  6.73s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [09:04<02:14,  6.74s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:11<02:08,  6.74s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:17<02:01,  6.74s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:24<01:54,  6.75s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:31<01:47,  6.74s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:38<01:41,  6.76s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:44<01:34,  6.77s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:51<01:27,  6.76s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:58<01:21,  6.75s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [10:05<01:14,  6.75s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:11<01:07,  6.75s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:18<01:00,  6.76s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:25<00:53,  6.74s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:32<00:47,  6.75s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:38<00:40,  6.75s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:45<00:33,  6.75s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:52<00:26,  6.74s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:59<00:20,  6.73s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [11:05<00:13,  6.74s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:12<00:06,  6.74s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:19<00:00,  6.79s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 200 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:15,  3.19s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:12,  3.19s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:08,  3.18s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:05,  3.18s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:02,  3.18s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:19<04:59,  3.19s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:55,  3.18s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:52,  3.18s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:49,  3.18s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:45,  3.17s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:41,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:38<04:38,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:35,  3.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:32,  3.16s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:29,  3.17s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:26,  3.17s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:23,  3.17s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:57<04:20,  3.18s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:00<04:18,  3.19s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:16,  3.20s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:12,  3.19s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:08,  3.19s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:13<04:05,  3.18s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:16<04:01,  3.18s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:19<03:57,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:54,  3.17s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:51,  3.17s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:47,  3.16s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:32<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:35<03:41,  3.17s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:38<03:38,  3.17s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:35,  3.17s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:32,  3.17s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:28,  3.17s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:51<03:25,  3.16s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:54<03:22,  3.16s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:57<03:19,  3.16s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:00<03:15,  3.16s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:12,  3.16s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:09,  3.16s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:10<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:13<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:16<03:00,  3.17s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:19<02:58,  3.18s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:54,  3.18s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:51,  3.17s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:29<02:48,  3.18s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:32<02:45,  3.18s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:35<02:41,  3.17s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:38<02:38,  3.16s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:41<02:35,  3.18s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:45<02:33,  3.19s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:48<02:29,  3.18s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:51<02:26,  3.17s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:54<02:22,  3.17s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:57<02:19,  3.17s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:00<02:16,  3.17s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:04<02:12,  3.17s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:07<02:09,  3.17s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:10<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:13<02:03,  3.17s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:16<02:00,  3.17s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:19<01:57,  3.17s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:23<01:53,  3.17s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:26<01:51,  3.17s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:29<01:47,  3.16s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:32<01:44,  3.16s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:35<01:41,  3.16s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:38<01:38,  3.17s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:41<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:45<01:31,  3.17s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:48<01:28,  3.17s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:51<01:25,  3.17s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:54<01:22,  3.16s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:57<01:19,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [04:00<01:16,  3.17s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:04<01:12,  3.16s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:07<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:10<01:06,  3.16s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:13<01:03,  3.16s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:16<01:00,  3.17s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:20<00:57,  3.18s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:23<00:54,  3.18s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:26<00:50,  3.17s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:29<00:47,  3.17s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:32<00:44,  3.17s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:35<00:41,  3.17s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:39<00:38,  3.20s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:42<00:35,  3.20s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:45<00:31,  3.19s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:48<00:28,  3.18s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:51<00:25,  3.16s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:54<00:22,  3.18s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:58<00:19,  3.18s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [05:01<00:15,  3.16s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:04<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:07<00:09,  3.16s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:10<00:06,  3.16s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:13<00:03,  3.17s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:17<00:00,  3.17s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 200 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:45,  2.88s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:41,  2.87s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:34,  2.86s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:31,  2.86s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:27,  2.85s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:24,  2.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:21,  2.85s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:18,  2.84s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:12,  2.84s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:10,  2.84s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:07,  2.84s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:04,  2.84s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:01,  2.85s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<03:58,  2.85s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:55,  2.84s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:53,  2.84s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:51,  2.86s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:56<03:47,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:44,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:42,  2.85s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:39,  2.86s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.85s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:30,  2.84s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:16<03:27,  2.84s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:24,  2.84s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:22,  2.85s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.85s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.84s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:33<03:11,  2.85s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:07,  2.84s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:04,  2.84s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.84s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:59,  2.85s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:56,  2.85s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:53,  2.85s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:53<02:50,  2.84s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:47,  2.84s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.85s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.86s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:40,  2.86s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:37,  2.86s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:10<02:33,  2.85s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:13<02:30,  2.84s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:27,  2.84s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:24,  2.84s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.84s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:19,  2.84s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.85s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:30<02:13,  2.85s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:33<02:11,  2.86s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.86s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:05,  2.85s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:01,  2.84s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<01:59,  2.85s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:47<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:50<01:53,  2.84s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:53<01:50,  2.84s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:48,  2.85s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.84s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.85s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.84s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:07<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:10<01:33,  2.85s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:31,  2.85s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.84s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.84s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:22,  2.84s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:24<01:19,  2.84s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:27<01:16,  2.84s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:30<01:13,  2.84s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.85s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.86s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.85s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.86s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:44<00:59,  2.85s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:47<00:56,  2.84s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:50<00:54,  2.85s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.84s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.84s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:01<00:42,  2.84s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:04<00:39,  2.85s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:07<00:37,  2.85s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.84s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.85s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.84s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:21<00:22,  2.84s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:24<00:19,  2.85s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.85s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.85s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.85s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.85s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:38<00:05,  2.85s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:41<00:02,  2.85s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 200 0.001 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:09,  6.76s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<11:02,  6.76s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:56,  6.77s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:27<10:48,  6.76s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:40,  6.74s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:32,  6.73s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:24,  6.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:17,  6.71s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:12,  6.73s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:04,  6.71s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:14<09:58,  6.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:20<09:51,  6.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:44,  6.71s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:37,  6.72s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:40<09:30,  6.71s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:47<09:23,  6.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:54<09:17,  6.71s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:00<09:09,  6.71s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:07<09:01,  6.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:14<08:54,  6.68s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:21<08:49,  6.70s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:27<08:42,  6.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:34<08:34,  6.69s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:41<08:27,  6.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:47<08:20,  6.67s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:54<08:14,  6.68s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:01<08:07,  6.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:07<08:00,  6.67s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:14<07:54,  6.68s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:21<07:47,  6.68s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:27<07:40,  6.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:34<07:34,  6.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:41<07:27,  6.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:47<07:20,  6.68s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [03:54<07:13,  6.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:01<07:07,  6.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:07<07:00,  6.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:14<06:53,  6.67s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:21<06:49,  6.71s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:27<06:41,  6.70s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:34<06:34,  6.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:41<06:30,  6.73s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:48<06:25,  6.77s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [04:54<06:17,  6.74s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:01<06:09,  6.72s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:08<06:01,  6.70s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:15<05:54,  6.69s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:21<05:47,  6.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:28<05:40,  6.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:35<05:34,  6.68s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:41<05:27,  6.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:48<05:20,  6.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [05:55<05:13,  6.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:01<05:07,  6.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:08<05:00,  6.68s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:15<04:54,  6.69s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:21<04:48,  6.71s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:28<04:41,  6.70s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:35<04:34,  6.69s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:41<04:27,  6.69s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:48<04:20,  6.69s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [06:55<04:14,  6.69s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:01<04:06,  6.67s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:08<04:00,  6.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:15<03:54,  6.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:21<03:46,  6.67s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:28<03:40,  6.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:35<03:33,  6.67s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:41<03:26,  6.66s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:48<03:20,  6.67s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [07:55<03:13,  6.67s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:01<03:06,  6.66s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:08<03:00,  6.67s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:15<02:53,  6.66s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:22<02:47,  6.69s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:28<02:40,  6.69s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:35<02:34,  6.70s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:42<02:27,  6.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:48<02:20,  6.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [08:55<02:13,  6.70s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:02<02:06,  6.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:08<02:00,  6.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:15<01:53,  6.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:22<01:46,  6.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:28<01:40,  6.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:35<01:33,  6.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:42<01:27,  6.74s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:49<01:20,  6.72s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [09:55<01:13,  6.70s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:02<01:06,  6.69s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:09<01:00,  6.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:15<00:53,  6.68s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:22<00:46,  6.68s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:29<00:40,  6.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:35<00:33,  6.68s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:42<00:26,  6.68s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:49<00:20,  6.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [10:55<00:13,  6.68s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:02<00:06,  6.72s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:09<00:00,  6.69s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 200 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:14,  3.18s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:10,  3.17s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:07,  3.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:03,  3.17s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:00,  3.16s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:18<04:57,  3.16s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:54,  3.16s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:50,  3.16s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:47,  3.16s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:43,  3.15s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:40,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:37<04:37,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:34,  3.15s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:31,  3.16s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:27,  3.15s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:24,  3.15s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:21,  3.16s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:56<04:18,  3.16s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:59<04:15,  3.16s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:11,  3.15s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:09,  3.15s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:06,  3.16s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:12<04:03,  3.16s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:15<03:59,  3.15s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:18<03:57,  3.17s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:54,  3.16s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:50,  3.16s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:48,  3.17s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:31<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:34<03:40,  3.15s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:37<03:37,  3.15s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:34,  3.15s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:31,  3.15s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:27,  3.15s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:50<03:25,  3.16s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:53<03:21,  3.15s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:56<03:18,  3.15s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:59<03:15,  3.16s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:12,  3.16s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:09,  3.15s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:09<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:12<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:15<03:00,  3.16s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:18<02:56,  3.16s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:53,  3.16s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:50,  3.15s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:28<02:47,  3.16s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:31<02:44,  3.16s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:34<02:41,  3.16s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:37<02:37,  3.16s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:40<02:34,  3.15s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:44<02:31,  3.15s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:47<02:28,  3.15s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:50<02:25,  3.16s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:53<02:22,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:56<02:19,  3.17s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:59<02:15,  3.16s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:03<02:12,  3.16s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:06<02:09,  3.15s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:09<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:12<02:03,  3.16s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:15<01:59,  3.15s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:18<01:56,  3.16s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:22<01:53,  3.15s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:25<01:50,  3.14s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:28<01:46,  3.14s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:31<01:44,  3.15s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:34<01:40,  3.15s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:37<01:37,  3.15s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:40<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:44<01:31,  3.15s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:47<01:28,  3.16s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:50<01:25,  3.15s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:53<01:21,  3.15s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:56<01:18,  3.14s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:59<01:15,  3.15s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:03<01:12,  3.16s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:06<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:09<01:06,  3.15s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:12<01:03,  3.15s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:15<00:59,  3.15s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:18<00:56,  3.16s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:21<00:53,  3.16s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:25<00:50,  3.17s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:28<00:47,  3.17s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:31<00:44,  3.17s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:34<00:41,  3.17s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:37<00:37,  3.16s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:41<00:34,  3.18s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:44<00:31,  3.17s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:47<00:28,  3.17s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:50<00:25,  3.17s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:53<00:22,  3.17s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:56<00:19,  3.17s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:59<00:15,  3.17s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:03<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:06<00:09,  3.16s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:09<00:06,  3.19s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:12<00:03,  3.18s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:15<00:00,  3.16s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 200 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:45,  2.88s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:41,  2.88s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:33,  2.85s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:30,  2.85s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:28,  2.85s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:25,  2.86s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:22,  2.85s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:18,  2.85s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:13,  2.85s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:11,  2.86s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:08,  2.85s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:05,  2.86s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:03,  2.87s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<04:00,  2.87s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:57,  2.86s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:53,  2.85s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:50,  2.84s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:57<03:48,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:45,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:41,  2.84s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:38,  2.84s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.84s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:30,  2.85s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:16<03:27,  2.85s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:25,  2.85s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:22,  2.85s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.84s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.85s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:34<03:11,  2.85s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:08,  2.85s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:05,  2.85s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.85s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:59,  2.85s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:56,  2.84s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:54,  2.86s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:54<02:51,  2.86s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:48,  2.86s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.86s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.85s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:39,  2.85s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:36,  2.85s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:11<02:33,  2.85s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:13<02:30,  2.84s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:27,  2.84s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:25,  2.85s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.85s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:18,  2.84s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.84s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:31<02:13,  2.85s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:33<02:10,  2.85s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:05,  2.85s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:02,  2.85s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<01:59,  2.85s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:48<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:51<01:54,  2.86s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:53<01:51,  2.85s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:48,  2.85s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.85s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.85s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.85s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:08<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:10<01:33,  2.84s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:30,  2.84s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.85s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.84s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:22,  2.84s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:25<01:19,  2.84s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:28<01:17,  2.85s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:30<01:14,  2.85s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.85s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.84s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.84s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:45<00:59,  2.83s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:47<00:56,  2.83s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:50<00:53,  2.84s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.86s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.86s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:02<00:42,  2.85s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:04<00:39,  2.84s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:07<00:36,  2.84s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.85s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.85s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.85s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.86s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:22<00:22,  2.85s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:24<00:19,  2.85s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.86s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.86s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.86s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.85s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:39<00:05,  2.85s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:42<00:02,  2.86s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:44<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 200 0.01 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:06<11:05,  6.73s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:13<10:59,  6.73s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:20<10:51,  6.72s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:26<10:44,  6.71s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:33<10:38,  6.72s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:40<10:31,  6.71s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:47<10:24,  6.72s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:53<10:17,  6.71s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [01:00<10:10,  6.71s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [01:07<10:05,  6.73s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [01:13<09:58,  6.72s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [01:20<09:51,  6.72s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [01:27<09:44,  6.72s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:34<09:36,  6.71s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:40<09:30,  6.71s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:47<09:23,  6.71s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:54<09:16,  6.71s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [02:00<09:08,  6.69s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [02:07<09:01,  6.69s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [02:14<08:55,  6.69s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [02:20<08:49,  6.70s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [02:27<08:42,  6.70s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [02:34<08:35,  6.70s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [02:40<08:28,  6.69s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [02:47<08:22,  6.70s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [02:54<08:15,  6.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [03:01<08:07,  6.68s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [03:07<08:02,  6.70s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [03:14<07:55,  6.69s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [03:21<07:47,  6.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [03:27<07:42,  6.70s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [03:34<07:39,  6.75s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [03:41<07:31,  6.74s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [03:48<07:23,  6.73s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [03:54<07:16,  6.71s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [04:01<07:09,  6.71s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [04:08<07:02,  6.70s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [04:14<06:55,  6.70s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [04:21<06:48,  6.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [04:28<06:42,  6.70s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [04:34<06:34,  6.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [04:41<06:28,  6.69s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [04:48<06:23,  6.72s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [04:55<06:15,  6.71s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [05:02<06:16,  6.84s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [05:09<06:12,  6.91s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [05:16<06:02,  6.85s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [05:22<05:53,  6.80s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [05:29<05:44,  6.76s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [05:36<05:36,  6.73s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [05:42<05:29,  6.72s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [05:49<05:21,  6.70s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [05:56<05:14,  6.69s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [06:02<05:06,  6.67s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [06:09<05:00,  6.67s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [06:16<04:53,  6.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [06:22<04:46,  6.67s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [06:29<04:40,  6.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [06:36<04:33,  6.67s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [06:42<04:26,  6.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [06:49<04:20,  6.69s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [06:56<04:14,  6.69s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [07:02<04:07,  6.68s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [07:09<04:01,  6.71s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [07:16<03:54,  6.69s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [07:22<03:47,  6.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [07:29<03:40,  6.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [07:36<03:33,  6.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [07:42<03:27,  6.69s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [07:49<03:20,  6.69s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [07:56<03:13,  6.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [08:02<03:06,  6.67s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [08:09<03:00,  6.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [08:16<02:53,  6.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [08:22<02:46,  6.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [08:29<02:40,  6.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [08:36<02:33,  6.68s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [08:43<02:27,  6.69s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [08:49<02:20,  6.69s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [08:56<02:13,  6.68s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [09:03<02:06,  6.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [09:09<02:00,  6.70s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [09:16<01:53,  6.70s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [09:23<01:47,  6.70s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [09:29<01:40,  6.69s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [09:36<01:33,  6.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [09:43<01:26,  6.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [09:50<01:20,  6.72s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [09:56<01:13,  6.72s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [10:03<01:07,  6.71s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [10:10<01:00,  6.71s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [10:16<00:53,  6.70s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [10:23<00:46,  6.69s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [10:30<00:40,  6.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [10:36<00:33,  6.68s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [10:43<00:26,  6.69s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [10:50<00:20,  6.68s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [10:56<00:13,  6.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [11:03<00:06,  6.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [11:10<00:00,  6.70s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 200 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:03<05:17,  3.21s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:06<05:12,  3.19s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:09<05:07,  3.17s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:12<05:04,  3.17s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:15<05:00,  3.16s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:18<04:57,  3.16s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:22<04:53,  3.16s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:25<04:51,  3.17s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:28<04:48,  3.17s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:31<04:44,  3.16s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:34<04:41,  3.16s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:37<04:38,  3.16s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:41<04:34,  3.16s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:44<04:30,  3.15s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:47<04:28,  3.16s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:50<04:25,  3.16s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:53<04:21,  3.15s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:56<04:18,  3.15s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:59<04:14,  3.14s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:03<04:12,  3.15s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:06<04:08,  3.15s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:09<04:05,  3.14s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:12<04:03,  3.16s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:15<04:00,  3.17s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:18<03:57,  3.16s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:22<03:53,  3.16s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:25<03:50,  3.15s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:28<03:47,  3.15s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:31<03:44,  3.16s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:34<03:41,  3.16s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:37<03:37,  3.16s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:41<03:34,  3.15s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:44<03:31,  3.16s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:47<03:28,  3.16s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:50<03:24,  3.15s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:53<03:22,  3.16s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:56<03:19,  3.17s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:00<03:16,  3.17s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:03<03:13,  3.17s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [02:06<03:10,  3.17s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [02:09<03:06,  3.16s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [02:12<03:03,  3.16s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:15<02:59,  3.15s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:19<02:58,  3.18s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:22<02:56,  3.21s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:25<02:53,  3.21s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:28<02:49,  3.20s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:31<02:45,  3.18s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:35<02:42,  3.18s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:38<02:38,  3.17s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:41<02:35,  3.16s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:44<02:31,  3.17s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:47<02:28,  3.16s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:50<02:25,  3.17s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:53<02:22,  3.16s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:57<02:18,  3.16s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [03:00<02:15,  3.15s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [03:03<02:12,  3.16s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [03:06<02:09,  3.16s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [03:09<02:06,  3.16s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [03:12<02:03,  3.16s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [03:16<02:00,  3.16s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [03:19<01:56,  3.15s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:22<01:53,  3.16s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:25<01:50,  3.16s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:28<01:47,  3.16s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:31<01:44,  3.16s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:35<01:41,  3.16s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:38<01:38,  3.16s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:41<01:34,  3.16s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:44<01:31,  3.16s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:47<01:28,  3.16s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:50<01:25,  3.16s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:53<01:22,  3.16s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:57<01:19,  3.17s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [04:00<01:15,  3.16s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [04:03<01:12,  3.15s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [04:06<01:09,  3.16s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [04:09<01:06,  3.16s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [04:12<01:03,  3.16s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [04:16<01:00,  3.17s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [04:19<00:56,  3.16s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [04:22<00:53,  3.16s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [04:25<00:50,  3.15s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:28<00:47,  3.15s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:31<00:44,  3.14s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:35<00:40,  3.15s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:38<00:38,  3.17s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:41<00:34,  3.17s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:44<00:31,  3.17s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:47<00:28,  3.16s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:50<00:25,  3.16s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:54<00:22,  3.20s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:57<00:19,  3.19s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [05:00<00:15,  3.17s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [05:03<00:12,  3.17s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [05:06<00:09,  3.17s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [05:09<00:06,  3.17s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [05:13<00:03,  3.16s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [05:16<00:00,  3.16s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 200 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:43,  2.86s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:40,  2.86s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:37,  2.86s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:11<04:33,  2.85s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:14<04:30,  2.84s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:17<04:27,  2.84s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:19<04:25,  2.85s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:22<04:21,  2.84s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:25<04:19,  2.85s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:28<04:16,  2.85s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:31<04:13,  2.85s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:34<04:10,  2.85s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:37<04:07,  2.85s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:39<04:05,  2.86s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:42<04:02,  2.85s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:45<04:00,  2.86s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:48<03:58,  2.87s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:51<03:54,  2.86s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:54<03:51,  2.86s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:57<03:48,  2.85s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:59<03:45,  2.85s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:02<03:42,  2.85s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:05<03:39,  2.85s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:08<03:36,  2.85s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:11<03:33,  2.85s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:14<03:31,  2.85s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:17<03:28,  2.86s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:19<03:24,  2.85s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:22<03:21,  2.84s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:25<03:19,  2.84s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:28<03:16,  2.85s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:31<03:13,  2.85s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:34<03:10,  2.84s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:36<03:07,  2.85s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:39<03:05,  2.85s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:42<03:02,  2.85s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:45<02:58,  2.84s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:48<02:55,  2.84s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:51<02:53,  2.84s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:53<02:50,  2.84s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:56<02:47,  2.84s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:59<02:45,  2.85s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [02:02<02:42,  2.84s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [02:05<02:39,  2.85s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:08<02:36,  2.85s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:11<02:36,  2.90s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:14<02:32,  2.88s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:16<02:29,  2.88s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:19<02:26,  2.87s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:22<02:22,  2.86s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:25<02:19,  2.85s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:28<02:16,  2.85s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:31<02:14,  2.86s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:34<02:11,  2.85s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:36<02:08,  2.85s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:39<02:06,  2.87s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:42<02:03,  2.86s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:45<02:00,  2.86s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:48<01:56,  2.85s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:51<01:53,  2.85s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:54<01:50,  2.85s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:56<01:47,  2.84s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:59<01:45,  2.84s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [03:02<01:42,  2.84s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [03:05<01:39,  2.85s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [03:08<01:36,  2.85s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [03:11<01:34,  2.86s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:13<01:31,  2.85s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:16<01:28,  2.85s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:19<01:25,  2.86s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:22<01:23,  2.86s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:25<01:20,  2.86s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:28<01:16,  2.85s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:31<01:13,  2.85s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:33<01:11,  2.84s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:36<01:08,  2.85s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:39<01:05,  2.85s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:42<01:02,  2.85s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:45<00:59,  2.84s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:48<00:56,  2.84s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:51<00:54,  2.85s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:53<00:51,  2.85s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:56<00:48,  2.84s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:59<00:45,  2.83s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [04:02<00:42,  2.85s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [04:05<00:39,  2.85s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [04:08<00:36,  2.84s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [04:10<00:34,  2.85s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [04:13<00:31,  2.84s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:16<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:19<00:25,  2.84s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:22<00:22,  2.84s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:25<00:19,  2.84s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:27<00:17,  2.84s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:30<00:14,  2.85s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:33<00:11,  2.85s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:36<00:08,  2.84s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:39<00:05,  2.86s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:42<00:02,  2.85s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:45<00:00,  2.85s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 200 0.005 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:29,  4.54s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:23,  4.52s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:13,  4.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:08,  4.51s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:04,  4.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<06:59,  4.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:51,  4.52s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:46,  4.52s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:42,  4.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:37,  4.52s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:33,  4.53s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:28,  4.52s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:24,  4.52s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:19,  4.52s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:15,  4.52s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:10,  4.52s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:07,  4.53s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:02,  4.53s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:57,  4.52s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:53,  4.53s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:48,  4.52s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:44,  4.53s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:53<05:39,  4.53s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:36,  4.55s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:02<05:31,  4.54s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:26,  4.53s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:11<05:21,  4.53s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:16,  4.52s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:20<05:11,  4.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:07,  4.52s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:29<05:02,  4.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:57,  4.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:38<04:53,  4.51s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:48,  4.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:47<04:44,  4.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:39,  4.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:56<04:34,  4.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:30,  4.51s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:05<04:25,  4.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:22,  4.52s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:14<04:17,  4.52s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:18<04:13,  4.52s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:23<04:08,  4.51s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:27<04:04,  4.52s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:32<03:59,  4.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:36<03:55,  4.53s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:41<03:50,  4.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:46<03:46,  4.52s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:50<03:41,  4.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:55<03:37,  4.53s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:59<03:33,  4.54s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:04<03:28,  4.54s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:08<03:23,  4.53s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:13<03:19,  4.53s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:17<03:14,  4.52s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:22<03:09,  4.52s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:26<03:05,  4.52s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:31<03:00,  4.51s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:35<02:55,  4.51s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:40<02:51,  4.52s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:44<02:46,  4.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:49<02:42,  4.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:53<02:37,  4.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:58<02:33,  4.50s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:02<02:28,  4.51s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:07<02:24,  4.51s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:11<02:19,  4.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:16<02:15,  4.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:20<02:10,  4.50s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:25<02:06,  4.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:29<02:01,  4.51s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:34<01:57,  4.52s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:38<01:52,  4.51s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:43<01:48,  4.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:47<01:43,  4.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:52<01:39,  4.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:56<01:35,  4.53s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [06:01<01:30,  4.53s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:06<01:25,  4.53s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:10<01:21,  4.52s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:15<01:16,  4.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:19<01:12,  4.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:24<01:07,  4.52s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:28<01:03,  4.52s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:33<00:59,  4.54s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:37<00:54,  4.56s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:42<00:50,  4.55s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:46<00:45,  4.53s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:51<00:40,  4.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:55<00:36,  4.51s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [07:00<00:31,  4.51s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:04<00:27,  4.51s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:09<00:22,  4.50s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:13<00:18,  4.50s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:18<00:13,  4.50s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:22<00:09,  4.51s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:27<00:04,  4.53s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:31<00:00,  4.52s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 400 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:31,  2.74s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:26,  2.72s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:22,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:19,  2.70s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:15,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:12,  2.69s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:09,  2.68s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:06,  2.68s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:04,  2.68s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:01,  2.68s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:58,  2.68s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:56,  2.68s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:53,  2.68s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:51,  2.69s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:47,  2.68s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:44,  2.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.67s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:39,  2.68s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:36,  2.68s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:34,  2.68s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:29,  2.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:26,  2.69s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:07<03:20,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:18,  2.69s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:16,  2.69s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:15<03:13,  2.69s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:10,  2.68s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:08,  2.69s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:23<03:05,  2.68s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:02,  2.68s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:59,  2.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:31<02:57,  2.68s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:55,  2.69s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:51,  2.68s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:39<02:49,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:46,  2.69s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.69s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:47<02:40,  2.68s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:50<02:38,  2.69s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:36,  2.69s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:55<02:33,  2.69s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:58<02:29,  2.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:26,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:03<02:24,  2.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:06<02:23,  2.70s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:20,  2.70s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:11<02:17,  2.69s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:14<02:14,  2.69s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:22<02:06,  2.70s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:04,  2.70s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:01,  2.70s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:30<01:59,  2.71s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:33<01:55,  2.69s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.69s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:38<01:50,  2.69s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:41<01:47,  2.68s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:44,  2.68s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:46<01:41,  2.68s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:49<01:39,  2.68s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:54<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:57<01:31,  2.68s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.67s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:02<01:25,  2.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:05<01:22,  2.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:10<01:17,  2.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:13<01:15,  2.69s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:18<01:09,  2.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:21<01:06,  2.68s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:04,  2.68s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:26<01:01,  2.68s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:29<00:58,  2.68s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:32<00:56,  2.68s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:34<00:53,  2.69s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:37<00:50,  2.68s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:40<00:48,  2.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:42<00:45,  2.68s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:45<00:42,  2.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:48<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.68s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:53<00:34,  2.68s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:56<00:32,  2.69s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:01<00:26,  2.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:04<00:24,  2.68s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:06<00:21,  2.69s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:09<00:18,  2.69s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:12<00:16,  2.68s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:14<00:13,  2.69s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:17<00:10,  2.68s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:20<00:08,  2.68s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:23<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:25<00:02,  2.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 400 0.001 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:15,  2.58s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:10,  2.56s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:06,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:02,  2.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<03:59,  2.52s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:56,  2.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:53,  2.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:50,  2.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:46,  2.52s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:47,  2.55s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:42,  2.53s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:39,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:37,  2.53s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:34,  2.52s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:31,  2.52s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:28,  2.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:25,  2.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:23,  2.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:17,  2.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:15,  2.51s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:13,  2.51s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:08,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.50s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:03,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.50s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:57,  2.50s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.50s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:52,  2.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:50,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.51s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:45,  2.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:43,  2.52s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:41,  2.52s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:36,  2.52s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:38<02:34,  2.52s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:31,  2.53s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:43<02:28,  2.52s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:25,  2.51s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:48<02:23,  2.51s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:20,  2.52s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:18,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:16,  2.54s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:14,  2.54s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:11,  2.53s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:08,  2.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.52s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:03,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.51s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.52s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:53,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.51s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.50s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.51s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:43,  2.52s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.52s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:38,  2.52s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:35,  2.53s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:33,  2.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:25,  2.51s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:23,  2.52s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:51<01:20,  2.52s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:56<01:15,  2.51s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.51s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:01<01:10,  2.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.50s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:06<01:05,  2.50s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:11<01:00,  2.50s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:16<00:55,  2.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:21<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:26<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:31<00:40,  2.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.51s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:36<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.51s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:41<00:30,  2.51s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.52s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:46<00:25,  2.52s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:51<00:20,  2.51s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.54s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:56<00:15,  2.54s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.53s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:01<00:10,  2.52s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.52s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.51s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 400 0.001 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:32,  4.57s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:25,  4.55s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:16,  4.54s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:10,  4.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:08,  4.55s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<07:01,  4.53s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:50,  4.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:45,  4.50s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:41,  4.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:36,  4.51s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:31,  4.51s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:27,  4.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:23,  4.51s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:19,  4.51s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:14,  4.52s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:09,  4.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:05,  4.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:00,  4.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:55,  4.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:51,  4.50s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:47,  4.51s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:42,  4.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:52<05:37,  4.50s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:32,  4.49s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:01<05:27,  4.49s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:24,  4.50s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:10<05:18,  4.49s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:14,  4.49s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:19<05:10,  4.50s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:06,  4.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:28<05:02,  4.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:57,  4.51s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:37<04:52,  4.50s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:47,  4.50s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:46<04:43,  4.49s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:38,  4.50s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:55<04:33,  4.48s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:28,  4.48s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:04<04:24,  4.48s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:19,  4.48s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:13<04:15,  4.48s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:18<04:11,  4.49s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:22<04:06,  4.49s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:27<04:03,  4.50s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:31<03:58,  4.49s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:36<03:53,  4.49s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:40<03:48,  4.48s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:45<03:44,  4.49s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:49<03:40,  4.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:54<03:35,  4.48s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:58<03:30,  4.48s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:02<03:26,  4.48s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:07<03:21,  4.47s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:11<03:16,  4.47s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:16<03:12,  4.47s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:20<03:07,  4.48s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:25<03:03,  4.47s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:29<02:58,  4.47s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:34<02:54,  4.47s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:38<02:49,  4.47s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:43<02:45,  4.48s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:47<02:41,  4.48s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:52<02:36,  4.48s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:56<02:32,  4.48s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:01<02:27,  4.48s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:05<02:23,  4.48s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:10<02:18,  4.48s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:14<02:14,  4.47s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:19<02:09,  4.48s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:23<02:05,  4.49s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:28<02:01,  4.49s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:32<01:56,  4.48s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:37<01:52,  4.49s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:41<01:47,  4.49s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:46<01:43,  4.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:50<01:39,  4.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:55<01:34,  4.49s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:59<01:29,  4.50s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:04<01:25,  4.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:08<01:21,  4.54s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:13<01:17,  4.56s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:17<01:12,  4.54s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:22<01:07,  4.52s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:26<01:03,  4.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:31<00:58,  4.50s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:35<00:53,  4.49s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:40<00:49,  4.48s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:44<00:44,  4.48s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:49<00:40,  4.48s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:53<00:35,  4.47s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:58<00:31,  4.48s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:02<00:26,  4.48s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:07<00:22,  4.48s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:11<00:17,  4.48s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:15<00:13,  4.48s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:20<00:08,  4.48s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:24<00:04,  4.48s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00,  4.49s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 400 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:28,  2.72s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:24,  2.70s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:20,  2.68s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:17,  2.68s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:16,  2.70s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:12,  2.69s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:10,  2.69s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:07,  2.69s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:04,  2.68s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:01,  2.68s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:57,  2.67s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:55,  2.67s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:52,  2.67s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:49,  2.67s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:46,  2.66s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:43,  2.67s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.66s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:38,  2.66s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:35,  2.66s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:33,  2.67s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.68s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:28,  2.68s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:26,  2.68s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.68s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:06<03:20,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:17,  2.67s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:15,  2.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:14<03:12,  2.67s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:09,  2.67s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:06,  2.67s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:22<03:03,  2.66s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:01,  2.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:58,  2.67s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:30<02:55,  2.66s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:53,  2.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:50,  2.66s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:38<02:48,  2.67s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:45,  2.67s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.68s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:46<02:40,  2.67s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:49<02:37,  2.67s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:35,  2.68s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:54<02:32,  2.68s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:57<02:29,  2.68s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:27,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:02<02:24,  2.68s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:05<02:21,  2.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:19,  2.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:10<02:16,  2.68s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:13<02:14,  2.69s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.69s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.68s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:21<02:05,  2.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:03,  2.68s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:00,  2.67s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:29<01:57,  2.67s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:32<01:54,  2.67s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:37<01:49,  2.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:40<01:46,  2.67s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:44,  2.67s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:45<01:41,  2.67s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:48<01:38,  2.67s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.67s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:53<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:56<01:31,  2.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:01<01:25,  2.67s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:04<01:22,  2.68s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:09<01:17,  2.68s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:12<01:14,  2.68s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.68s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:17<01:09,  2.67s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:20<01:06,  2.66s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:03,  2.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:25<01:01,  2.67s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:28<00:58,  2.67s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:31<00:55,  2.67s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:33<00:53,  2.67s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:36<00:50,  2.67s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:39<00:48,  2.67s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:41<00:45,  2.67s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:44<00:42,  2.67s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:47<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.71s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:52<00:35,  2.70s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:55<00:32,  2.70s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.68s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:00<00:26,  2.68s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:03<00:24,  2.69s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:06<00:21,  2.68s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:08<00:18,  2.68s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:11<00:16,  2.67s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:14<00:13,  2.70s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:16<00:10,  2.70s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:19<00:08,  2.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:22<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:24<00:02,  2.69s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:27<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 400 0.01 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:11,  2.54s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:07,  2.53s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:05,  2.53s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:02,  2.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<03:59,  2.52s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:55,  2.51s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:53,  2.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:51,  2.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:45,  2.51s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:44,  2.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:42,  2.53s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:39,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:35,  2.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:33,  2.51s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:31,  2.51s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:28,  2.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:25,  2.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:23,  2.51s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:18,  2.51s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:15,  2.51s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:12,  2.50s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.50s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:07,  2.50s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.51s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:02,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:58,  2.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.51s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:53,  2.52s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:50,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.51s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:45,  2.50s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:42,  2.50s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:40,  2.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:35,  2.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:37<02:33,  2.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:30,  2.52s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:42<02:28,  2.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:26,  2.52s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:48<02:24,  2.53s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:21,  2.53s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:18,  2.52s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:16,  2.52s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:13,  2.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:10,  2.52s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:07,  2.51s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.50s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:02,  2.50s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.51s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.50s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:52,  2.51s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.51s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.50s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.51s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:42,  2.51s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.51s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:37,  2.51s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:35,  2.51s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:32,  2.51s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.51s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.51s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:25,  2.51s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:22,  2.51s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:50<01:20,  2.50s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.50s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:55<01:15,  2.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.50s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:00<01:10,  2.50s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.50s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:05<01:05,  2.51s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.52s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:10<01:00,  2.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.51s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:15<00:55,  2.51s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:20<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:25<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.52s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:30<00:40,  2.52s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.51s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:35<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.51s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:40<00:30,  2.52s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.51s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:45<00:25,  2.52s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.51s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:50<00:20,  2.52s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.51s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:56<00:15,  2.52s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.51s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:01<00:10,  2.52s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.52s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.52s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

SGD 100 400 0.01 DONE
NEW LOOP

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:04<07:30,  4.55s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:09<07:24,  4.54s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:13<07:18,  4.52s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:18<07:13,  4.52s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:22<07:08,  4.51s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:27<07:03,  4.51s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:31<06:59,  4.51s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:36<06:55,  4.51s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:40<06:50,  4.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:45<06:45,  4.50s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:49<06:40,  4.50s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:54<06:35,  4.50s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:58<06:31,  4.50s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [01:03<06:26,  4.50s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [01:07<06:22,  4.50s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [01:12<06:17,  4.50s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [01:16<06:13,  4.51s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [01:21<06:10,  4.51s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [01:25<06:04,  4.50s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [01:30<06:00,  4.51s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [01:34<05:58,  4.53s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [01:39<05:52,  4.52s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:43<05:47,  4.52s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:48<05:42,  4.50s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:52<05:37,  4.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:57<05:33,  4.50s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [02:01<05:28,  4.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [02:06<05:24,  4.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [02:10<05:20,  4.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [02:15<05:15,  4.50s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [02:19<05:10,  4.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [02:24<05:06,  4.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [02:28<05:01,  4.50s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [02:33<04:56,  4.49s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [02:37<04:51,  4.48s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [02:42<04:47,  4.49s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [02:46<04:42,  4.48s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [02:51<04:38,  4.49s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [02:55<04:33,  4.48s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [03:00<04:29,  4.49s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [03:04<04:24,  4.48s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [03:09<04:19,  4.47s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [03:13<04:15,  4.48s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [03:17<04:10,  4.48s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [03:22<04:06,  4.49s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [03:26<04:01,  4.48s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [03:31<03:57,  4.48s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [03:35<03:53,  4.50s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [03:40<03:48,  4.49s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [03:44<03:44,  4.48s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [03:49<03:39,  4.47s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [03:53<03:34,  4.47s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [03:58<03:30,  4.47s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [04:02<03:26,  4.48s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [04:07<03:21,  4.48s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [04:11<03:17,  4.49s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [04:16<03:13,  4.51s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [04:20<03:09,  4.50s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [04:25<03:04,  4.49s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [04:29<02:59,  4.49s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [04:34<02:54,  4.48s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [04:38<02:50,  4.48s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [04:43<02:45,  4.48s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [04:47<02:41,  4.47s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [04:52<02:36,  4.48s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [04:56<02:32,  4.48s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [05:01<02:28,  4.49s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [05:05<02:23,  4.49s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [05:10<02:19,  4.49s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [05:14<02:14,  4.50s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [05:19<02:10,  4.49s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [05:23<02:05,  4.49s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [05:28<02:00,  4.48s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [05:32<01:56,  4.47s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [05:37<01:52,  4.50s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [05:41<01:47,  4.49s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [05:46<01:43,  4.49s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [05:50<01:38,  4.48s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [05:54<01:34,  4.48s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [05:59<01:29,  4.48s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [06:03<01:25,  4.48s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [06:08<01:20,  4.48s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [06:12<01:16,  4.48s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [06:17<01:11,  4.49s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [06:21<01:07,  4.49s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [06:26<01:03,  4.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [06:30<00:58,  4.50s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [06:35<00:53,  4.50s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [06:39<00:49,  4.49s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [06:44<00:44,  4.50s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [06:48<00:40,  4.48s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [06:53<00:35,  4.49s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [06:57<00:31,  4.48s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [07:02<00:26,  4.48s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [07:06<00:22,  4.48s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [07:11<00:17,  4.47s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [07:15<00:13,  4.48s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [07:20<00:08,  4.48s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [07:24<00:04,  4.49s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [07:29<00:00,  4.49s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

NADAM 100 400 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:29,  2.72s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:27,  2.73s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:08<04:23,  2.71s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:19,  2.70s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:13<04:15,  2.69s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:16<04:11,  2.68s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:18<04:08,  2.67s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:21<04:05,  2.67s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:24<04:02,  2.67s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:26<04:00,  2.67s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:29<03:58,  2.67s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:32<03:54,  2.67s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:34<03:52,  2.67s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:37<03:50,  2.68s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:40<03:47,  2.68s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:42<03:44,  2.68s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:45<03:41,  2.67s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:48<03:38,  2.67s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:50<03:35,  2.67s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:53<03:33,  2.67s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:56<03:31,  2.67s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:58<03:28,  2.67s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [01:01<03:25,  2.67s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:04<03:23,  2.67s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:06<03:21,  2.68s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:09<03:17,  2.67s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:12<03:14,  2.67s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:14<03:12,  2.68s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:17<03:09,  2.67s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:20<03:06,  2.67s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:22<03:03,  2.66s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:25<03:01,  2.67s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:28<02:59,  2.68s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:30<02:56,  2.67s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:33<02:53,  2.67s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:36<02:51,  2.69s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:39<02:48,  2.68s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:41<02:46,  2.68s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:44<02:43,  2.67s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:47<02:41,  2.69s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:49<02:37,  2.68s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:52<02:34,  2.67s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:55<02:32,  2.67s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:57<02:29,  2.67s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [02:00<02:26,  2.67s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [02:03<02:24,  2.67s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [02:05<02:22,  2.68s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:08<02:19,  2.68s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:11<02:16,  2.67s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:13<02:13,  2.67s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:16<02:11,  2.67s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:19<02:08,  2.67s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:21<02:05,  2.68s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:24<02:03,  2.69s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:27<02:00,  2.69s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:29<01:57,  2.68s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:32<01:55,  2.68s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:35<01:52,  2.68s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:37<01:49,  2.68s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:40<01:47,  2.68s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:43<01:45,  2.71s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:46<01:42,  2.71s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:48<01:39,  2.70s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:51<01:36,  2.68s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:54<01:33,  2.68s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:56<01:31,  2.69s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:59<01:28,  2.68s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [03:02<01:25,  2.68s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [03:04<01:23,  2.69s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [03:07<01:20,  2.68s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [03:10<01:18,  2.69s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:12<01:15,  2.68s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:15<01:12,  2.67s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:18<01:09,  2.68s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:20<01:06,  2.67s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:23<01:03,  2.67s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:26<01:01,  2.67s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:28<00:58,  2.67s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:31<00:55,  2.66s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:34<00:53,  2.66s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:36<00:50,  2.67s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:39<00:48,  2.68s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:42<00:45,  2.68s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:44<00:42,  2.68s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:47<00:40,  2.68s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:50<00:37,  2.69s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:52<00:34,  2.69s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:55<00:32,  2.68s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:58<00:29,  2.69s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [04:01<00:28,  2.84s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [04:04<00:25,  2.82s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [04:07<00:22,  2.79s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [04:09<00:19,  2.76s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [04:12<00:16,  2.74s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [04:15<00:13,  2.71s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:17<00:10,  2.70s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:20<00:08,  2.69s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:23<00:05,  2.69s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:25<00:02,  2.68s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:28<00:00,  2.68s/it]








  0%|                                                                                                                                                                                                                                                                                                | 0/100 [00:00<?, ?it/s]

ADAM 100 400 0.005 DONE

  1%|██▊                                                                                                                                                                                                                                                                                     | 1/100 [00:02<04:12,  2.55s/it]







  2%|█████▌                                                                                                                                                                                                                                                                                  | 2/100 [00:05<04:10,  2.55s/it]







  3%|████████▍                                                                                                                                                                                                                                                                               | 3/100 [00:07<04:06,  2.54s/it]







  4%|███████████▏                                                                                                                                                                                                                                                                            | 4/100 [00:10<04:03,  2.54s/it]







  5%|██████████████                                                                                                                                                                                                                                                                          | 5/100 [00:12<04:00,  2.53s/it]







  6%|████████████████▊                                                                                                                                                                                                                                                                       | 6/100 [00:15<03:57,  2.52s/it]







  7%|███████████████████▌                                                                                                                                                                                                                                                                    | 7/100 [00:17<03:54,  2.52s/it]







  8%|██████████████████████▍                                                                                                                                                                                                                                                                 | 8/100 [00:20<03:51,  2.52s/it]







  9%|█████████████████████████▏                                                                                                                                                                                                                                                              | 9/100 [00:22<03:48,  2.51s/it]







 10%|███████████████████████████▉                                                                                                                                                                                                                                                           | 10/100 [00:25<03:46,  2.51s/it]







 11%|██████████████████████████████▋                                                                                                                                                                                                                                                        | 11/100 [00:27<03:44,  2.52s/it]







 12%|█████████████████████████████████▍                                                                                                                                                                                                                                                     | 12/100 [00:30<03:41,  2.52s/it]







 13%|████████████████████████████████████▎                                                                                                                                                                                                                                                  | 13/100 [00:32<03:38,  2.52s/it]







 14%|███████████████████████████████████████                                                                                                                                                                                                                                                | 14/100 [00:35<03:35,  2.51s/it]







 15%|█████████████████████████████████████████▊                                                                                                                                                                                                                                             | 15/100 [00:37<03:32,  2.50s/it]







 16%|████████████████████████████████████████████▋                                                                                                                                                                                                                                          | 16/100 [00:40<03:30,  2.50s/it]







 17%|███████████████████████████████████████████████▍                                                                                                                                                                                                                                       | 17/100 [00:42<03:27,  2.50s/it]







 18%|██████████████████████████████████████████████████▏                                                                                                                                                                                                                                    | 18/100 [00:45<03:24,  2.50s/it]







 19%|█████████████████████████████████████████████████████                                                                                                                                                                                                                                  | 19/100 [00:47<03:22,  2.50s/it]







 20%|███████████████████████████████████████████████████████▊                                                                                                                                                                                                                               | 20/100 [00:50<03:20,  2.50s/it]







 21%|██████████████████████████████████████████████████████████▌                                                                                                                                                                                                                            | 21/100 [00:52<03:17,  2.50s/it]







 22%|█████████████████████████████████████████████████████████████▍                                                                                                                                                                                                                         | 22/100 [00:55<03:14,  2.50s/it]







 23%|████████████████████████████████████████████████████████████████▏                                                                                                                                                                                                                      | 23/100 [00:57<03:12,  2.50s/it]







 24%|██████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                                    | 24/100 [01:00<03:10,  2.51s/it]







 25%|█████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                                                 | 25/100 [01:02<03:08,  2.51s/it]







 26%|████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                                                              | 26/100 [01:05<03:05,  2.51s/it]







 27%|███████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                                           | 27/100 [01:07<03:03,  2.51s/it]







 28%|██████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                                         | 28/100 [01:10<03:00,  2.51s/it]







 29%|████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                                                                      | 29/100 [01:12<02:58,  2.51s/it]







 30%|███████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                                   | 30/100 [01:15<02:55,  2.51s/it]







 31%|██████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                                | 31/100 [01:17<02:53,  2.51s/it]







 32%|█████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                                                             | 32/100 [01:20<02:51,  2.51s/it]







 33%|████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                                           | 33/100 [01:22<02:48,  2.52s/it]







 34%|██████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                                        | 34/100 [01:25<02:46,  2.52s/it]







 35%|█████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                                                                     | 35/100 [01:27<02:43,  2.51s/it]







 36%|████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                                  | 36/100 [01:30<02:40,  2.51s/it]







 37%|███████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                               | 37/100 [01:32<02:38,  2.51s/it]







 38%|██████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                                                             | 38/100 [01:35<02:35,  2.51s/it]







 39%|████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                                          | 39/100 [01:37<02:33,  2.51s/it]







 40%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                                       | 40/100 [01:40<02:30,  2.51s/it]







 41%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                                                                    | 41/100 [01:42<02:27,  2.51s/it]







 42%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                                 | 42/100 [01:45<02:25,  2.51s/it]







 43%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                               | 43/100 [01:47<02:22,  2.50s/it]







 44%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                                            | 44/100 [01:50<02:20,  2.50s/it]







 45%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                                         | 45/100 [01:53<02:17,  2.51s/it]







 46%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                                      | 46/100 [01:55<02:15,  2.51s/it]







 47%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                                                   | 47/100 [01:58<02:13,  2.52s/it]







 48%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                                                                 | 48/100 [02:00<02:10,  2.52s/it]







 49%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                              | 49/100 [02:03<02:08,  2.52s/it]







 50%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                                           | 50/100 [02:05<02:05,  2.51s/it]







 51%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                                                        | 51/100 [02:08<02:02,  2.51s/it]







 52%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                                      | 52/100 [02:10<02:00,  2.51s/it]







 53%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                                   | 53/100 [02:13<01:57,  2.50s/it]







 54%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                                                                | 54/100 [02:15<01:55,  2.51s/it]







 55%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                                             | 55/100 [02:18<01:53,  2.52s/it]







 56%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                                          | 56/100 [02:20<01:50,  2.52s/it]







 57%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                                                        | 57/100 [02:23<01:47,  2.51s/it]







 58%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                                     | 58/100 [02:25<01:45,  2.50s/it]







 59%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                                  | 59/100 [02:28<01:42,  2.50s/it]







 60%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                                                               | 60/100 [02:30<01:40,  2.50s/it]







 61%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                                            | 61/100 [02:33<01:37,  2.50s/it]







 62%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                                          | 62/100 [02:35<01:34,  2.49s/it]







 63%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                                                       | 63/100 [02:38<01:32,  2.49s/it]







 64%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                                    | 64/100 [02:40<01:30,  2.50s/it]







 65%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                                 | 65/100 [02:43<01:27,  2.50s/it]







 66%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                                                              | 66/100 [02:45<01:24,  2.50s/it]







 67%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                                            | 67/100 [02:48<01:22,  2.50s/it]







 68%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                                         | 68/100 [02:50<01:20,  2.51s/it]







 69%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                                                      | 69/100 [02:53<01:17,  2.51s/it]







 70%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                                   | 70/100 [02:55<01:15,  2.51s/it]







 71%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                                 | 71/100 [02:58<01:12,  2.51s/it]







 72%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                                              | 72/100 [03:00<01:10,  2.51s/it]







 73%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                                                           | 73/100 [03:03<01:07,  2.51s/it]







 74%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                                        | 74/100 [03:05<01:05,  2.50s/it]







 75%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                                                     | 75/100 [03:08<01:02,  2.51s/it]







 76%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                                                                   | 76/100 [03:10<01:00,  2.51s/it]







 77%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                                | 77/100 [03:13<00:57,  2.52s/it]







 78%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                                             | 78/100 [03:15<00:55,  2.52s/it]







 79%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                                                          | 79/100 [03:18<00:52,  2.51s/it]







 80%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                                       | 80/100 [03:20<00:50,  2.51s/it]







 81%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                                     | 81/100 [03:23<00:47,  2.51s/it]







 82%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊                                                  | 82/100 [03:25<00:45,  2.51s/it]







 83%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                               | 83/100 [03:28<00:42,  2.50s/it]







 84%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                                            | 84/100 [03:30<00:40,  2.50s/it]







 85%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏                                         | 85/100 [03:33<00:37,  2.50s/it]







 86%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                                       | 86/100 [03:35<00:35,  2.51s/it]







 87%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                                    | 87/100 [03:38<00:32,  2.52s/it]







 88%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▌                                 | 88/100 [03:40<00:30,  2.52s/it]







 89%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                              | 89/100 [03:43<00:27,  2.52s/it]







 90%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████                            | 90/100 [03:45<00:25,  2.51s/it]







 91%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▉                         | 91/100 [03:48<00:22,  2.52s/it]







 92%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋                      | 92/100 [03:50<00:20,  2.52s/it]







 93%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍                   | 93/100 [03:53<00:17,  2.52s/it]







 94%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▎                | 94/100 [03:55<00:15,  2.51s/it]







 95%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████              | 95/100 [03:58<00:12,  2.51s/it]







 96%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▊           | 96/100 [04:00<00:10,  2.51s/it]







 97%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▋        | 97/100 [04:03<00:07,  2.51s/it]







 98%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▍     | 98/100 [04:06<00:05,  2.52s/it]







 99%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  | 99/100 [04:08<00:02,  2.53s/it]







100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 100/100 [04:11<00:00,  2.51s/it]

SGD 100 400 0.005 DONE

import pandas as pd
history_competition=pd.read_csv("MLP_PARAMS_2.csv")
pd.options.display.max_rows = 4000
history_competition.sort_values(by=['Fscore'],ascending=False)

	Loss	Accuracy	Fscore	layers	weights	biases	units	optim	lr	batch size	epochs
64	5.358891	0.284558	0.275329	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	200.0	100.0
28	3.488418	0.268038	0.272130	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	100.0	50.0
27	3.187775	0.265678	0.255621	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	100.0	50.0
37	3.053844	0.240728	0.246001	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	200.0	50.0
73	3.898921	0.250506	0.245556	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	400.0	100.0
54	4.343975	0.256237	0.244087	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	100.0	100.0
55	6.385560	0.257249	0.242011	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	100.0	100.0
62	2.407799	0.255226	0.240534	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	100.0	100.0
32	2.344236	0.242751	0.239133	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	100.0	50.0
46	2.638489	0.238705	0.235545	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	400.0	50.0
59	3.013742	0.274444	0.224760	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	100.0	100.0
10	2.429786	0.238031	0.221636	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	200.0	25.0
0	2.444752	0.238031	0.221121	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	100.0	25.0
68	2.471185	0.261295	0.217037	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	200.0	100.0
1	2.563978	0.247134	0.209686	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	100.0	25.0
72	2.838919	0.236345	0.202449	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	400.0	100.0
35	2.299524	0.256575	0.199594	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	100.0	50.0
71	2.336547	0.249494	0.199266	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	200.0	100.0
77	2.366196	0.232974	0.197617	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	400.0	100.0
41	2.291410	0.257586	0.196105	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	200.0	50.0
36	2.994898	0.235671	0.193166	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	200.0	50.0
63	4.851068	0.182063	0.190086	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	200.0	100.0
19	2.418963	0.230276	0.189865	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.001	400.0	25.0
5	2.322507	0.239042	0.187623	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	100.0	25.0
56	2.333293	0.241065	0.186397	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	100.0	100.0
80	2.337733	0.223871	0.184408	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	400.0	100.0
8	2.325088	0.240391	0.180724	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	100.0	25.0
45	2.580216	0.217465	0.177267	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	400.0	50.0
44	2.334978	0.238705	0.174018	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	200.0	50.0
50	2.328487	0.242077	0.165335	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	400.0	50.0
17	2.360751	0.229939	0.162259	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	200.0	25.0
14	2.338974	0.241065	0.150125	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	200.0	25.0
29	2.361950	0.230276	0.145663	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	100.0	50.0
65	2.363729	0.232637	0.145073	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	200.0	100.0
9	2.743599	0.200270	0.136354	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	200.0	25.0
38	2.409412	0.213756	0.127948	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	200.0	50.0
53	2.365099	0.218139	0.124627	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	400.0	50.0
74	2.412102	0.212070	0.123800	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	400.0	100.0
18	2.615246	0.161834	0.119176	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.001	400.0	25.0
26	2.428405	0.213082	0.109760	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.005	400.0	25.0
2	2.430303	0.196561	0.106637	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	100.0	25.0
47	2.467147	0.187121	0.100612	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	400.0	50.0
23	2.501509	0.160486	0.094135	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.010	400.0	25.0
11	2.464169	0.191841	0.089822	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	200.0	25.0
20	2.503372	0.178692	0.061598	2	('random_normal_initializer',)	('random_normal_initializer',)	256	SGD	0.001	400.0	25.0
39	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	200.0	50.0
4	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	100.0	25.0
7	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	100.0	25.0
67	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	200.0	100.0
66	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	200.0	100.0
30	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	100.0	50.0
31	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	100.0	50.0
12	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	200.0	25.0
58	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	100.0	100.0
57	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	100.0	100.0
3	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	100.0	25.0
75	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	400.0	100.0
76	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	400.0	100.0
52	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	400.0	50.0
49	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	400.0	50.0
48	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	400.0	50.0
22	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	400.0	25.0
21	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.010	400.0	25.0
43	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	200.0	50.0
42	13.411815	0.167903	0.020538	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	200.0	50.0
25	14.351950	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	400.0	25.0
78	14.351947	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	400.0	100.0
61	14.351950	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	100.0	100.0
16	14.351950	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	200.0	25.0
69	14.351950	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	200.0	100.0
13	14.351950	0.109575	0.014108	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	200.0	25.0
24	14.770391	0.083614	0.011023	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	400.0	25.0
40	14.770391	0.083614	0.011023	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.010	200.0	50.0
70	14.846472	0.078894	0.010446	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	200.0	100.0
79	14.927987	0.073837	0.009823	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	400.0	100.0
6	15.080148	0.064396	0.008643	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	100.0	25.0
33	15.259480	0.053270	0.007225	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	100.0	50.0
15	15.259480	0.053270	0.007225	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	200.0	25.0
51	15.259480	0.053270	0.007225	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	400.0	50.0
34	15.259480	0.053270	0.007225	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Adam	0.005	100.0	50.0
60	15.406206	0.044167	0.006043	2	('random_normal_initializer',)	('random_normal_initializer',)	256	Nadam	0.005	100.0	100.0

model=MLP()
model.compile(layers=2,
              units=256,
              initializer_weights=tf.random_normal_initializer,
              initializer_bias=tf.random_normal_initializer,
              batch=200,
              optim=tf.keras.optimizers.Nadam(learning_rate=0.001),
              epoch=100)

history, history_test, history_valid = model.fit(dataset=images,labels_train=labels,epochs=100,dataset_test=images_test, dataset_valid=images_valid, labels_test=labels_test, labels_valid=labels_valid,batch=200)   

100%|████████████████████████████████████████████████████████████████████████████████| 100/100 [02:29<00:00,  1.49s/it]

history = pd.DataFrame(history)
tmp = pd.DataFrame(history_test).add_prefix('test_')
tmp2= pd.DataFrame(history_valid).add_prefix('valid_')
results= pd.concat([tmp,tmp2],axis=1)
results= pd.concat([results,history],axis=1)

results

	test_Loss	test_Accuracy	test_Fscore	valid_Loss	valid_Accuracy	valid_Fscore	Loss	Accuracy	Fscore
0	2.529044	0.184086	0.049964	2.539129	(0.17813765182186234, 0.04595097475109721)	0.049964	2.709586	0.178692	0.044646
1	2.452564	0.189144	0.082559	2.466750	(0.18454790823211875, 0.07901322097794042)	0.082559	2.469884	0.197520	0.094576
2	2.554003	0.139919	0.077272	2.548983	(0.1420377867746289, 0.07839456436480872)	0.077272	2.429084	0.151747	0.083289
3	2.470727	0.153068	0.077490	2.478563	(0.15215924426450742, 0.07877101879072228)	0.077490	2.408594	0.166742	0.092759
4	2.413075	0.202630	0.134983	2.414292	(0.19736842105263158, 0.128752282836218)	0.134983	2.374476	0.219729	0.150188
5	2.419237	0.204316	0.157178	2.420052	(0.19973009446693657, 0.1528431000714762)	0.157178	2.341604	0.230778	0.182585
6	2.641297	0.152057	0.093977	2.624021	(0.1572199730094467, 0.09736460295610412)	0.093977	2.326790	0.167306	0.109732
7	2.395950	0.206339	0.151491	2.394372	(0.20276653171390013, 0.1418432073568099)	0.151491	2.318746	0.241488	0.179923
8	2.467972	0.202293	0.125621	2.459371	(0.20276653171390013, 0.12280104837460694)	0.125621	2.274464	0.230778	0.150431
9	2.429583	0.169589	0.143993	2.431967	(0.1747638326585695, 0.14702857066678185)	0.143993	2.272833	0.222886	0.193673
10	2.328012	0.237020	0.158905	2.334301	(0.23515519568151147, 0.15345969390417027)	0.158905	2.233474	0.283427	0.202172
11	2.376043	0.209710	0.152963	2.363364	(0.2233468286099865, 0.16156523062195666)	0.152963	2.220207	0.267644	0.210915
12	2.520448	0.161834	0.124673	2.508741	(0.16734143049932523, 0.1373638025659231)	0.124673	2.184194	0.214656	0.182651
13	2.518088	0.203978	0.120008	2.518901	(0.1926450742240216, 0.10820032021032268)	0.120008	2.188489	0.227170	0.143995
14	2.509005	0.204653	0.157999	2.473092	(0.21558704453441296, 0.15769799108690327)	0.157999	2.152094	0.266404	0.210682
15	2.364761	0.234659	0.168472	2.346060	(0.2408906882591093, 0.1799569793579443)	0.168472	2.133380	0.308343	0.250956
16	2.452307	0.219825	0.159695	2.432385	(0.2162618083670715, 0.15802994108719412)	0.159695	2.119722	0.286133	0.221691
17	2.529145	0.207687	0.129575	2.528578	(0.19736842105263158, 0.11734041575638665)	0.129575	2.093160	0.257159	0.180944
18	2.598544	0.179366	0.153736	2.588562	(0.18859649122807018, 0.16545277471463732)	0.153736	2.056511	0.252988	0.226334
19	2.363426	0.238705	0.151343	2.355802	(0.23785425101214575, 0.15692518020256166)	0.151343	2.043784	0.321646	0.255408
20	2.431872	0.215105	0.168372	2.420557	(0.2125506072874494, 0.16330500319190833)	0.168372	2.012369	0.316460	0.275164
21	2.338538	0.252192	0.197802	2.324235	(0.24865047233468285, 0.19641417955764892)	0.197802	2.023008	0.380271	0.345236
22	2.543946	0.211396	0.141499	2.515146	(0.20479082321187583, 0.13727806819982383)	0.141499	2.016649	0.280834	0.222198
23	2.659749	0.167903	0.158855	2.635288	(0.17341430499325236, 0.16115837511750786)	0.158855	1.953059	0.275648	0.266310
24	2.659366	0.243088	0.156877	2.644775	(0.23279352226720648, 0.14528489810735543)	0.156877	1.949055	0.322773	0.242370
25	2.420882	0.234997	0.176462	2.425997	(0.2324561403508772, 0.17303238230878418)	0.176462	2.369622	0.336979	0.289022
26	2.395576	0.224882	0.193770	2.400070	(0.2216599190283401, 0.19035838433433686)	0.193770	1.937064	0.368658	0.342506
27	2.602285	0.206001	0.171874	2.598465	(0.20985155195681512, 0.17049244765593533)	0.171874	1.894349	0.315558	0.275636
28	2.511626	0.208024	0.165693	2.513806	(0.21322537112010798, 0.16484937504405267)	0.165693	1.858507	0.332018	0.288336
29	2.500727	0.226231	0.201006	2.495346	(0.22064777327935223, 0.19283010972305745)	0.201006	1.853490	0.374746	0.357635
30	2.503329	0.200607	0.160706	2.474345	(0.19770580296896087, 0.15960648556444182)	0.160706	1.977174	0.310147	0.282432
31	2.408514	0.224208	0.206500	2.392910	(0.23380566801619435, 0.20796605738569077)	0.206500	1.876202	0.393912	0.383584
32	2.627777	0.188132	0.187425	2.578896	(0.20411605937921729, 0.20028669958441622)	0.187425	1.817937	0.338670	0.345076
33	2.572114	0.220836	0.182505	2.571050	(0.21322537112010798, 0.1790037256054954)	0.182505	1.803776	0.360203	0.342488
34	2.606561	0.200944	0.192505	2.601208	(0.1946693657219973, 0.17890771010332887)	0.192505	1.783990	0.367531	0.370610
35	2.435854	0.247808	0.213712	2.410173	(0.24527665317139002, 0.21069700594347948)	0.213712	1.732159	0.438670	0.431008
36	2.540056	0.232637	0.215333	2.545989	(0.22402159244264508, 0.20292748779531436)	0.215333	1.712826	0.422097	0.408305
37	2.716013	0.203978	0.185414	2.710978	(0.20951417004048584, 0.1834142760677347)	0.185414	1.695599	0.356821	0.356809
38	2.806706	0.211396	0.193792	2.808136	(0.20715249662618085, 0.18579550307238263)	0.193792	1.682938	0.378918	0.356997
39	2.498842	0.240728	0.215052	2.499270	(0.24696356275303644, 0.21576877374316722)	0.215052	1.731914	0.462570	0.439850
40	2.620679	0.212407	0.196455	2.628163	(0.20715249662618085, 0.18223486880417838)	0.196455	1.596332	0.395716	0.383799
41	2.974588	0.183412	0.164054	3.018818	(0.1720647773279352, 0.15613097334053228)	0.164054	1.572925	0.320519	0.309294
42	2.742723	0.201618	0.171690	2.759597	(0.1950067476383266, 0.16048219170439312)	0.171690	1.647045	0.358737	0.346099
43	2.531920	0.263992	0.250890	2.518040	(0.25573549257759787, 0.2440362936757082)	0.250890	1.553931	0.505862	0.507409
44	3.075094	0.200270	0.169258	3.049379	(0.19770580296896087, 0.16001633853316233)	0.169258	1.566979	0.368207	0.331562
45	2.570449	0.244100	0.224142	2.565880	(0.2388663967611336, 0.2214028314590127)	0.224142	1.526312	0.502029	0.489095
46	2.818197	0.191167	0.187901	2.796440	(0.19736842105263158, 0.19232357889500645)	0.187901	1.491923	0.411387	0.411151
47	2.929079	0.187458	0.183159	2.916850	(0.1946693657219973, 0.1907751752063609)	0.183159	1.500997	0.379932	0.384709
48	3.018115	0.207687	0.171661	3.060565	(0.19331983805668015, 0.1539433963990855)	0.171661	1.452536	0.365614	0.336274
49	2.532748	0.268375	0.254380	2.518860	(0.26214574898785425, 0.24711889815048843)	0.254380	1.419145	0.588726	0.585951
50	2.680242	0.254214	0.240360	2.670534	(0.24932523616734142, 0.2285617651710419)	0.240360	1.358608	0.532582	0.536675
51	2.835821	0.249494	0.220138	2.861130	(0.24561403508771928, 0.20871497719769994)	0.220138	1.419180	0.507441	0.487057
52	2.644484	0.266689	0.241695	2.661561	(0.2567476383265857, 0.22568018194530065)	0.241695	1.343174	0.568658	0.559263
53	3.066290	0.182401	0.183912	3.083219	(0.1858974358974359, 0.18376399040149294)	0.183912	1.310104	0.394250	0.415503
54	2.731921	0.254889	0.223584	2.725339	(0.2564102564102564, 0.2184987918727784)	0.223584	1.389388	0.543743	0.517820
55	2.705044	0.246123	0.238066	2.700267	(0.2543859649122807, 0.24190761839012528)	0.238066	1.338880	0.577452	0.583269
56	2.695920	0.250506	0.242377	2.706066	(0.24932523616734142, 0.23188729117352572)	0.242377	1.299659	0.581962	0.592215
57	2.778490	0.240054	0.225332	2.793877	(0.23751686909581646, 0.2223992764370956)	0.225332	1.288026	0.550507	0.544182
58	2.817939	0.247471	0.244020	2.811125	(0.247638326585695, 0.2418385385616904)	0.244020	1.225512	0.577678	0.586037
59	3.472106	0.201955	0.168069	3.451824	(0.19230769230769232, 0.16132649927257728)	0.168069	1.225429	0.427057	0.371193
60	2.894010	0.244437	0.241418	2.853206	(0.2543859649122807, 0.24905698469344614)	0.241418	1.227810	0.603495	0.603070
61	3.118723	0.252192	0.237612	3.084859	(0.24493927125506074, 0.22254972671637924)	0.237612	1.161307	0.550056	0.545022
62	2.824880	0.255226	0.258546	2.792674	(0.24628879892037786, 0.2467400968911071)	0.258546	1.151415	0.665953	0.677112
63	3.065710	0.271072	0.228117	3.108086	(0.25033738191632926, 0.2067555545913085)	0.228117	1.104557	0.559301	0.529767
64	3.030791	0.237694	0.226699	3.019989	(0.22503373819163291, 0.21564636863242548)	0.226699	1.159816	0.587148	0.583561
65	3.012637	0.260958	0.240241	2.985557	(0.2682186234817814, 0.23979365796959481)	0.240241	1.037929	0.621759	0.614574
66	2.964460	0.247471	0.256786	2.948787	(0.24595141700404857, 0.24695041812891705)	0.256786	1.022357	0.668207	0.678748
67	3.294757	0.241065	0.223950	3.318937	(0.23481781376518218, 0.20769624561426764)	0.223950	1.022465	0.558399	0.553079
68	3.073484	0.242077	0.249886	3.063697	(0.23717948717948717, 0.23769842659130222)	0.249886	1.053699	0.622435	0.628094
69	3.453976	0.223533	0.205728	3.427282	(0.21862348178137653, 0.1989470397014321)	0.205728	1.053738	0.502368	0.479432
70	3.013431	0.259946	0.250427	2.980575	(0.2675438596491228, 0.2536196870579691)	0.250427	0.947340	0.707441	0.707495
71	3.192899	0.250506	0.235905	3.183632	(0.25775978407557354, 0.24413596604984475)	0.235905	0.971584	0.639684	0.638526
72	2.962909	0.271746	0.269333	2.960906	(0.26788124156545207, 0.26485553549646806)	0.269333	0.954528	0.726719	0.728097
73	3.277559	0.241403	0.250055	3.265971	(0.2412280701754386, 0.24595054085405257)	0.250055	0.873129	0.639346	0.651527
74	3.327241	0.218813	0.225891	3.315104	(0.21828609986504724, 0.2277919340030477)	0.225891	0.970794	0.611612	0.635978
75	3.151955	0.246797	0.255044	3.120140	(0.24628879892037786, 0.2503457797307463)	0.255044	0.922642	0.671702	0.684519
76	3.321274	0.258260	0.251544	3.243074	(0.25573549257759787, 0.24927115206575248)	0.251544	0.835310	0.704059	0.706440
77	3.924009	0.245111	0.205624	3.999104	(0.22975708502024292, 0.19360309565811887)	0.205624	0.809948	0.514543	0.503218
78	3.295342	0.276129	0.259261	3.303535	(0.2699055330634278, 0.2511822786438896)	0.259261	0.863891	0.686471	0.686120
79	3.156392	0.279838	0.276830	3.135488	(0.2823886639676113, 0.2710012854346033)	0.276830	0.862241	0.770462	0.770585
80	3.958438	0.207687	0.186228	4.001695	(0.19331983805668015, 0.17498500218765073)	0.186228	0.830420	0.511838	0.464069
81	3.280189	0.272421	0.257981	3.269663	(0.2786774628879892, 0.2600833711079357)	0.257981	0.795959	0.719955	0.721018
82	3.484893	0.252866	0.258146	3.425713	(0.2479757085020243, 0.24837319942792568)	0.258146	0.772638	0.689966	0.699622
83	3.486162	0.251517	0.240361	3.509850	(0.24156545209176788, 0.22228991772977066)	0.240361	0.763835	0.674521	0.665713
84	3.921067	0.218813	0.199941	3.908930	(0.21929824561403508, 0.2009072247488556)	0.199941	0.730009	0.573619	0.541552
85	3.444572	0.270735	0.272173	3.435668	(0.26450742240215924, 0.2591430809571605)	0.272173	0.684902	0.781172	0.782443
86	3.811772	0.250843	0.230829	3.808395	(0.24527665317139002, 0.21963644210500138)	0.230829	0.756169	0.634160	0.620812
87	3.510296	0.279501	0.267011	3.562184	(0.2715924426450742, 0.25032550561330835)	0.267011	0.646623	0.768884	0.765708
88	3.586286	0.263992	0.271517	3.577495	(0.26282051282051283, 0.26446809930784443)	0.271517	0.661741	0.749944	0.760090
89	4.681571	0.205327	0.188455	4.609154	(0.1970310391363023, 0.18134395191079314)	0.188455	0.742731	0.456595	0.465563
90	3.585675	0.287593	0.273742	3.588784	(0.2813765182186235, 0.26347410244298847)	0.273742	0.781117	0.772604	0.773621
91	3.380814	0.289953	0.293736	3.399356	(0.27800269905533065, 0.2762667834464922)	0.293736	0.669327	0.824352	0.832110
92	3.809807	0.255563	0.245581	3.781365	(0.23852901484480432, 0.22403129911538794)	0.245581	0.578794	0.691432	0.698756
93	3.557912	0.298382	0.292524	3.591677	(0.28879892037786775, 0.2765689211334193)	0.292524	0.626650	0.846449	0.853700
94	3.598173	0.291639	0.288085	3.617647	(0.2793522267206478, 0.2716469880918758)	0.288085	0.597514	0.842841	0.843943
95	3.736643	0.284221	0.273678	3.750029	(0.2813765182186235, 0.2650870245011679)	0.273678	0.526277	0.807103	0.806679
96	3.550263	0.287930	0.289019	3.557676	(0.2894736842105263, 0.28299646343842333)	0.289019	0.610835	0.870462	0.869356
97	3.746957	0.263655	0.277353	3.713209	(0.2624831309041835, 0.27294248525187503)	0.277353	0.660819	0.785457	0.792717
98	4.827035	0.207013	0.197829	4.793872	(0.21322537112010798, 0.20244046627756077)	0.197829	0.472199	0.559865	0.542621
99	3.920703	0.268038	0.271475	3.894989	(0.25775978407557354, 0.25549422980333764)	0.271475	0.654283	0.769448	0.781398

plt.plot(history['Loss'], label="loss")
plt.plot(history_test['Loss'], label="loss_test")
plt.plot(history_valid['Loss'], label="loss_valid")
plt.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)

<matplotlib.legend.Legend at 0x2431a76e520>

fig1, ax1 = plt.subplots()
ax1.plot(history['Fscore'], label="train")
ax1.plot(history_test['Fscore'],label="test")
ax1.plot(history_valid['Fscore'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()

[]

fig1, ax1 = plt.subplots()
ax1.plot(history['Accuracy'], label="train")
ax1.plot(history_test['Accuracy'],label="test")
#ax1.plot(history_valid['Accuracy'],label="valid")
ax1.legend(bbox_to_anchor=(1.05, 1), loc='upper left', borderaxespad=0.)
ax1.plot()

[]

%matplotlib inline
from sklearn.metrics import confusion_matrix
import itertools
import matplotlib.pyplot as plt
cm_plot_labels = list(dataset['labels_mapping'].keys())
X = model.predict(images)
cm = confusion_matrix(y_true=labels, y_pred=X)
from pylab import rcParams
rcParams['figure.figsize'] = 12, 12
plot_confusion_matrix(cm=cm, classes=cm_plot_labels, title='Confusion Matrix')

Confusion matrix, without normalization

Podsumowanie uczenia modelu

Najlepszym modelem okazałą się dwu warstwowa sieć neuronowa z rozkładem normalnym (0,0.5), krokiem w uczeniu 0.001, sto epok uczenia i optymalizatorem ADAM.

1. Ilość warstw : Warstwy na których testowałem tą sieć MLP to 1/2/5. Niemal wszystkie sieci o dwóch warstwach były lepsze od pojedyńczej warstwy lub pięciu. W przypadku pierwszej warstwy zdecydowanie sieć była zbyt mało skomplikowana aby wyuczyć się aż 14 klas, w przypadku pięciu warstw jest duża szansa że wyuczyła się pojedyńczysz przykładów na pamięć.

1. Wagi i biasy: Najlepszym wyobrem okazał się inicjalizator z rozkładu normalnego o średniej 0 i odchyleniu 0.05. Posiada więc jednocześnie liczby ujemne i dodatnie bliskie 0. W przeciwieństwie do drugiego inicjatora uniform który nie posiadał ujemnych wag a jedynie z przedziału [0,1) . Więc wagi początkowe ostylowały wokół zera, a w uniformowych mogły być zdecydowanie dużo dużo większe.

1. Learning-rate: Dobrym krokiem uczenia okazał się 0.001, widocznie większy krok (0.05 i 0.01) nie były wstanie dobrze nakierować na minimum.

1. Optymalizator Adam - Optymalizacja Adam jest wariantem SGD, w którym utrzymujemy wskaźnik uczenia na parametr (wagę) i aktualizujemy go na podstawie średniej i wariancji poprzednich gradientów tego parametru. - "TensorFlow Machine Learning Projects: Build 13 real-world projects with advanced numerical computations using the Python ecosystem" Przetesowano i SGD, NAdama i Adama gdzie optymalizator Adam wyszedł zwycięsko. Jak z cytatu powyżej widać jest ulepszoną wersji SGD. Jednakże podczas testów wynikło że najgorsze i najlepsze modele korzystały właśnie z Adama. Modele uczone klasycznym SGD zajmowały średnie pozycje.

good_img = []
bad_img = []
for i, prediction in enumerate(X):
    if labels[i] == prediction:
        good_img.append(i)
    else:
        bad_img.append(i)

from pylab import rcParams
rcParams['figure.figsize'] = 10, 15
fig = plt.figure(figsize=(25,200))
columns = 2
print(rows)
ax = []
for i in range(rows*columns):
    style=""
    img_to_show = None
    ax.append( fig.add_subplot(rows, columns, i+1) )
    if i%2 == 0:
        img_to_show=dataset['train']['X'][good_img[i]]
        img_key = (labels[good_img[i]]).numpy()[0]
        style='GOOD: '+ cm_plot_labels[img_key]
        
    else:   
        img_to_show=dataset['train']['X'][bad_img[i-1]]
        img_key = (labels[good_img[i]]).numpy()[0]
        style='BAD: '+cm_plot_labels[img_key]
    ax[-1].set_title("Style:"+style)  # set title
    plt.imshow(img_to_show)

5